Прибиральник
Два дослідники з Каліфорнійського університету в Берклі та Швейцарської вищої технічної школи Цюриха використали можливості великої мовної моделі OpenAI GPT-4o, щоб навчити дешеві роботизовані руки прибирати розливи.
Це розумна демонстрація того, як мовні моделі ШІ, такі як та, яка лежить в основі популярного чат-бота ШІ OpenAI ChatGPT, можна використовувати для виконання завдань, які, на перший погляд, мають мало спільного з мовою.
Парі робототехніків знадобилося лише чотири дні, щоб навчити роботизовані руки, яким було надано доступ лише до звичайної губки, визначати розлив поблизу.
Відео, надане робототехніком Каліфорнійського університету в Берклі Янником Гротхузеном, показує, як робота запитують, що він бачить перед собою.
«Я бачу губку і невелику пляму на поверхні», — відповів робот ідеальною англійською.
"Поясни, що ти робиш, і прибери зі столу", — доручив дослідник.
«Я використовую робот-маніпулятор, щоб очистити поверхню столу», — послужливо відповідає робот. «Спочатку я перевірю наявність доступних рухів, щоб узяти губку і витерти стіл, потім виконаю послідовність дій, щоб забрати пролиту речовину».
Негайно рука робота береться до роботи й робить саме те, що обіцяла.
We built a GPT-4o-powered cleaning robot.
— Jannik Grothusen (@JannikGrothusen) November 2, 2024
- $250 for the robot arms
- 4 days to build
Open source is truly democratizing the field of robotics.@KasparJanssen pic.twitter.com/DEJECQML0k
Спілкування з роботами
За словами Гротузена, рухи рук були відпрацьовані приблизно на 100 демонстраціях.
Сама роботизована рука має повністю відкритий вихідний код, і її можна зібрати вдома за допомогою плейлиста YouTube.
Контекстно-залежний «багаторежимний агент» під назвою LangChain служив основою для перетворення вхідних та вихідних даних LLM у рухи робота з використанням навчання з підкріпленням.
Гротузен у повідомленні на LinkedIn заявив, що експеримент є «перевіркою концепції архітектури управління роботом», яка містить «модель візуальної мови для взаємодії людини й робота, міркування та регулювання».
Це також «демонструє, як відкритий вихідний код починає демократизувати сферу робототехніки», враховуючи доступну ціну робота-маніпулятора та повністю відкритий алгоритм навчання.
Однак залишається незрозумілим, чи перетвориться ця концепція колись на повноцінного робота-прибирача, який зможе витирати пролиту рідину у вашому будинку.
Джерела: LinkedIn
