Смитсоновский музей американского искусства придумал новое применение для популярного робота Pepper. Теперь он переводит изображения в музыку для слабовидящих посетителей выставок.

Многие художественные учреждения так сосредоточены на сохранении прошлого, что забывают думать о будущем. Смитсоновский музей американского искусства (SAAM) к числу таковых не относится. В сентябре они превратили одного из роботизированных гидов – Pepper – в мультимедийную инсталляцию, которая трансформировала картины в музыку. На мероприятии Tech Family Day Pepper взаимодействовал с посетителями, фиксировал их эмоции и реагировал на них картиной из коллекции музея и соответствующим звуком.

Рэйчел Гослинс, директор Здания искусства и промышленности, запустившая кампанию для Pepper на Kickstarter, сказала, что проект появился благодаря сотрудничеству музея с корпорацией SoftBank Robotics USA. Разработчики Pepper предложили отдать 100 роботов Смитсоновскому музею ради различных экспериментов в области образования и взаимодействия с посетителями. В итоге Гослинс обратилась к Йену Макдермотту, члену художественной студии для тинейджеров Музея Хиршхорна, с просьбой придумать что-то для мероприятия Tech Family Day.

«Они написали код и придумали новый способ использования Pepper. Это интересно и необычно», – сказала Гослинс.

Pepper использует базу данных, состоящую из 50 изображений из коллекции SAAM. Каждое изображение соответствует одной из пяти эмоций – счастью, грусти, злости, удивлению и нейтральному настроению. Pepper считывает эмоции при помощи алгоритмов, а затем показывает изображение, соответствующее эмоции. Картинки появляются на планшете, прикрепленному к груди Pepper.

Световые датчики робота определяют цвета по шкале RGB (красный, зеленый и синий). Датчики переводят эти разные частоты света в нули и единицы с помощью микрочипа Arduino. Этот микрочип отправляет данные на Bluetooth-передатчик, который отправляет их на другой передатчик, а тот передает информацию на другой Arduino, подключенный к синтезатору Moog Werkstatt.

Werkstatt обрабатывает сигнал в диссонансных, пульсирующих тонах. Некоторые – приятные звуки вроде «бип», другие представляют собой высокий скрип. Затем Werkstatt отправляет эти импульсы на два полумодульных синтезатора Moog Mother-32, которые затем направляют звуки в модульную систему Eurorack, где для создания более сложного и мелодичного микса применяются другие эффекты.

Источник: RusBase

Фото: Virtual Multimodal Museums