Корпорация Microsoft выпустила мобильное приложение Seeing AI, которое призвано помочь незрячим и слабовидящим людям в повседневной жизни. С помощью технологий компьютерного зрения оно описывает объекты вокруг пользователя.

Эта технология называется Seeing AI и теперь она доступна владельцам iPhone в виде отдельного одноименного приложения. Принцип остался тем же: открыв программу на смартфоне, можно навести камеру на объект — программа распознает его и скажет, что перед вами. Можно даже поймать в кадр человека, и Seeing AI поведает, сидит он или стоит, улыбается или хмурится, молод он или стар. Дома она поможет слепому понять, что за продукт он взял с полки — для этого нужно просто сосканировать штрихкод с коробки. Но одна из самых полезных функций приложения — распознавание валюты. Поскольку доллары США одинакового размера и тактильно отличить банкноты разной ценности попросту невозможно — равно как и понять, какую сумму ты достал из кармана, — Seeing AI эту проблему решает.

Приложение построено на основе нейросетей, именно эта технология используется, например, в самоуправляемых автомобилях и программах распознавания изображений. Большинство данных обрабатывается процессором смартфона, поэтому почти все функции работают и без постоянного подключения к интернету. Однако для некоторых доступ к сети все же может понадобиться — например, чтобы распознать рукописный текст или просканировать сложную сцену.

Большинство основных функций приложение выполняет на смартфоне, что позволяет повысить скорость распознавания объектов, а также использовать сервис при отсутствии сети. Интернет нужен только для экспериментальных функций — таких, как распознавание рукописного текста.

В небольшом интервью порталу The Verge Сакиб Шаих, глава разработки Seeing AI и тот самый слепой программист из ролика, рассказал, что он чаще всего использует приложение для определения дорожных знаков и чтения меню. В последнем случае программа не только озвучивает написанное на бумаге, но и подсказывает, когда и в какую сторону человеку нужно подвинуть камеру, чтобы «читать» дальше. А главным достоинством своей программы Шаих считает скорость работы: например, лица людей Seeing AI распознает за доли секунды.

Приложение пока доступно только владельцам iPhone, а скачать его можно лишь в американском App Store. На русском языке программа пока тоже не говорит, однако, учитывая полезность и амбициозность проекта, появление Seeing AI на Android и в магазинах приложений других стран можно назвать вопросом времени.

Прототип Seeing AI был впервые продемонстрирован ещё в марте прошлого года на конференции Build, теперь программа доступна для бесплатного скачивания в магазине App Store, пока приложение работает только на iOS.

Источник: style.rbc.ru