Ученым Университета Осаки (Япония) удалось создать нейросеть, способную воссоздать изображение, на которое смотрит человек. Исследование ученых опубликовано в biorxiv.
За основу ученые взяли программу для генерации картинок с помощью текста Stable Diffusion. Метод ее работы заключается в создании изображения по ключевым словам, каждая новая подсказка для нейросети делает изображение более точным.
Ученые лишь добавили еще один буффер обучения — мозг человека. ИИ предстояло сопоставлять данные мозговой активности четырех человек с помощью функциональной магнитно-резонансной томографии. Участникам показывали изображения, нейросеть обучалась читать их по активности нейронов в мозге.
Можно сказать, исследователи стали использовать активность мозга и взаимодействие нейронов в качестве языка программирования. Нейросеть считывала активность мозга и формировала базу данных, часть сканов перевели в текстовый формат.
После просмотра 10000 картинок, ИИ должен был пройти этап соотношения полученной текстовой и визуальной информации, соотнеся ее с зафиксированной активностью мозга.
По результатам снимков удалось разбить информацию на зоны «где» и «что». Первая отвечала за общее построение картины, ее перспективу и объем, вторая зона отвечала за конкретные объекты. Так удалось создать изображения, на 80% совпадающие с тем, что видели испытуемые.
