Нужные фото в будущем можно будет искать по рисункам от руки
Многим сегодня знакомо понятие дудла, не в последнюю очередь благодаря компании Google. Англоязычные жители мира называют дудлом рисунки, которые люди часто создают, не задумываясь о том, что конкретно они рисуют. В основном, так проводят время дети и подростки, но вскоре занятие может стать более массовым и среди взрослых.
Специальная программа теперь может подобрать фотографию, которая будет похожа на ваши наброски или чертёж вашего ребёнка.
Компьютерный алгоритм, который разберётся в ваших каракулях, создают инженеры Технологического института Джорджии (GaTech). Работа проводится под руководством Джеймса Хейса (James Hays). Он предположил, что человек, выискивающий нужную картинку в интернете, далеко не всегда может выразить то, что он ищет словами. Так почему бы не нарисовать?
Подумав об этом, Хейс решил создать поисковый движок, который бы позволял осуществлять не просто поиск по картинкам, а поиск по рисункам от руки.
Искусственный интеллект сегодня может "понять" многое, но, чтобы "осмыслить" набросок взрослого человека и уж тем более ребёнка, нужно ещё больше способностей. Ведь часто люди не дорисовывают какие-то важные детали или и вовсе добавляют рисунку что-то от себя. Не говоря уже о том, что многие из нас те ещё "художники". Вспомнить хотя бы фигурку человечка или женщины (обязательно в юбке), которую поймёт каждый взрослый, хоть раз игравший в игры вроде "Крокодила", но компьютеру даже такое элементарное "додумывание" пока не под силу.
Чтобы обойти это ограничение, Хейс и его команда подключили к работе 664 волонтёра. Каждому из них в течение пары секунд показывались фото из базы данных, содержащих тысячи снимков. Каждое изображение можно было отнести к одной из 125 категорий (например, жук, меч, банан, ракета). Затем участников просили сделать наброски того, что они увидели. В общей сложности за этим занятием добровольцы провели 4000 часов.
Затем при помощи двух нейронных сетей учёные сопоставили исходные картинки и рисунки, которые создали участники эксперимента.
В тесте искусственный интеллект правильно определил соотношение фото и набросков в 37% случаев. Немного, но во всех этих случаях программа не ошиблась и правильно составила пару. Примечательно, что сами люди правильно сопоставили фото и чужой рисунок в 54% случаев.
Теперь Хейс уверен, что компьютер можно "натренировать" таким образом, что он превзойдёт результат человека.
Что касается полезного применения данной технологии, то эксперты уже предрекают ей "работу" в криминалистике. Программа сможет сопоставлять фотороботы, составленные специалистами, для поиска преступников на снимках в базах данных.
Ещё одно возможное применение: электронные продажи. Модница сможет нарисовать эскиз туфель или сумочки, которую она увидела на улице и теперь ищет в интернете. Такой подход может стать новым словом в онлайн-торговле.
Добавим, что Хейс и его коллеги расскажут подробнее о своих разработках на конференции SIGGRAPH 2016, которая пройдёт с 24 по 27 июля в Калифорнии.
Статья об уникальной разрботке появилась в издании New Scientist.
Напомним также, что ранее инженеры представляли на SIGGRAPH камеру, которая видит сквозь стены, а также экран на мыльном пузыре и технологию создания объёмного селфи.