Группа студентов Стэнфорда продемонстрировала две модели искусственного интеллекта (ИИ), PIGEON и PIGEOTTO, которые могут точно определять место, где была сделана фотография. Системы геолокации изображений PIGEON и PIGEOTTO уже показали хорошие результаты, став точнее, чем все предыдущие технологии.

Система PIGEON была обучена на более чем 500 000 изображений из Google Street View. В качестве входных данных системе потребовалась панорама из четырех изображений. В ходе тестовых испытаний она в 92 % случаев правильно определила страну и в более чем 40 % случаев — местоположение с точностью до 40 км.

PIGEON вдохновлен онлайн-феноменом шведской игры под названием GeoGuessr, в которой игроки виртуально телепортируются в случайные объекты Street View для того, чтобы как можно точнее определить их местоположение на карте. В игре более 50 млн игроков, которые соревнуются в мировых чемпионатах.

Студенты Стэнфорда хотели узнать, смогут ли они создать ИИ-игрока, который будет играть лучше человека. Они начали с существующей системы анализа изображений под названием CLIP от OpenAI. Это нейросетевая программа, которая может изучать визуальные образы, просто читая текст о них.

Успехи PIGEON вдохновили разработчиков на создание еще одной модели. PIGEOTTO была обучена на 4 млн изображений из Flickr и Wikipedia и требует в качестве входных данных только изображение, а не панораму Street View, что делает ее еще более мощным инструментом для определения места, где была сделана фотография.

Как и многие другие приложения ИИ, PIGEOTTO и PIGEON могут помочь людям в определении геолокации по старым снимкам, сделанных родственниками, или позволить полевым биологам проводить быстрые исследования целых регионов на предмет инвазивных видов растений. И это лишь некоторые из многих возможных полезных применений. Однако такие приложения вызывают и опасения, так как они могут быть использованы не по назначению, например, для слежки или преследования.