Штучний інтелект генерує відео із сигналів мозку

Море мавп

Дослідники з Національного університету Сінгапуру та Китайського університету Гонконгу стверджують, що створили штучний інтелект, здатний реконструювати «високоякісне» відео за сигналами мозку.

Як пояснюють дослідники у статті, яка ще не пройшла рецензування, модель штучного інтелекту, що отримала назву MinD-Video, "спільно навчається" на загальнодоступних даних показань фМРТ, зокрема на даних, отриманих у випадках, коли людина була показана відео, в якому записувалася активність їхнього мозку, та доповнена модель генератора зображень зі штучним інтелектом Stable Diffusion.

Використовуючи цей "конвеєр із двох модулів, призначений для подолання розриву між декодуванням зображень та відео мозком", вони змогли створити "високоякісні" реконструкції відео за допомогою штучного інтелекту, які спочатку були показані учасникам. виключно на підставі даних їхнього мозку.

За словами дослідників, їхня модель змогла реконструювати ці відео із середньою точністю 85 % на основі "різних семантичних показників та показників на рівні пікселів".

"Розуміння інформації, прихованої в нашій складній мозковій діяльності, є великою загадкою в когнітивній нейробіології", — йдеться у статті. «Ми показуємо, що високоякісні відеоролики з довільною частотою кадрів можна реконструювати за допомогою Mind-Video за допомогою ворожого керівництва».

Зображення: Чен та ін.

Введення-виведення

Нова стаття заснована на попередніх спробах дослідників використовувати ШІ для відтворення зображень шляхом аналізу лише мозкових хвиль.

Новий рендеринг відео НІ в цілому вражає, про що свідчить пряме паралельне порівняння вихідного та "реконструйованого" відео на веб-сайті дослідників.

Наприклад, відео з натовпом людей, що йдуть жвавою вулицею, переведено в сцену з таким самим скупченням людей, хоч і з яскравішими кольорами. Підводна сцена з різноколірними рибками перетворилася на ще яскравішу підводну сцену.

Але ефект далекий від досконалості. Наприклад, відео з медузою було незрозумілим чином перетворено на кліп з пливучою рибою, а відео з морською черепахою було переосмислено як кадри з рибою.

Шолом для читання думок

Дослідники стверджують, що ці покоління ШІ також можуть запропонувати неврологічну інформацію, наприклад, демонструючи домінування зорової кори в процесі зорового сприйняття.

Попри те, що це захопливе дослідження, ми все ще далекі від майбутнього, в якому ми зможемо надіти шолом і отримати абсолютно точний, згенерований штучним інтелектом відеопотік всього, що плаває навколо нашого черепа.

Чесно кажучи, це, напевно, добре, враховуючи наслідки конфіденційності даних.

Джерела: MinD-Video