Вчені реконструюють те, на що ви дивитеся, посилюючи відображення у вашому оці

Збільшити!

Можливо, скоро Голлівуду доведеться просити вибачення за деякі з його безглуздих судових експертиз.

Дослідники з Університету Мериленду розробили моторошний метод, який може реконструювати 3D-зображення за відображенням у ваших очах, використовуючи модель нейронної мережі, яка називається нейронними полями випромінювання (NeRF).

На своєму веб-сайті дослідники демонструють деякі зі своїх виняткових досягнень, наприклад, обчислення розмитої, але відомої тривимірної візуалізації іграшки Кірбі, відображеної в очах суб'єкта. Їм також вдалося примітивно відобразити прості сцени, наприклад, класну кімнату.

Проте сценаристи на телебаченні ще не виправдані. Фотографії, які вони зробили, мають дуже високу роздільну здатність — як із дійсно різкою камерою смартфона — і були ретельно зрежисовані. Ще одне обмеження? Умови освітлення мають бути дуже конкретними.

Більш амбітна спроба, в якій використовуються кадри з реальних джерел, краще ілюструє можливості для покращення.

Дивно, але дослідники спробували реконструювати те, що відбивалося в очах Майлі Сайрус та Леді Гагі в їхніх музичних кліпах, але в кращому разі вони виявили лише туманні чорні контури. Вони стверджують, що одна форма нагадує верхню частину тулуба.

Загадка рогівки

Проте це виняткова і дуже розумна робота. Згідно з попереднім дослідженням проєкту, для більшості додатків NeRF потрібно кілька рухомих камер, що знімають сцену для створення 3D-рендерінгу. Для цього нового методу потрібна лише одна фіксована камера та очне яблуко.

Дослідники скористалися геометрією рогівки людини, яка "приблизно" однакова у здорових дорослих людей. Цей зручний факт дозволив їм виміряти кількість пікселів, які займає рогівка в зображенні, і використовувати його для позиціювання очей у просторі.

Однак зробити це точно — непросте завдання, а різноколірні райдужки, що сильно затемняють відображення, ще більше заплутують ситуацію. Хоча вони мають свої методи обходу цих перешкод, вони далекі від досконалості.

Іншими словами, це не зовсім те, що потрібно для сцени з "CSI", яка може вгадати відображення очного яблука на жахливих кадрах з камер відеоспостереження, але, можливо, це вже відбувається.

Джерела: arXiv