
Смитсоновский музей американского искусства придумал новое применение для популярного робота Pepper. Теперь он переводит изображения в музыку для слабовидящих посетителей выставок.
Многие художественные учреждения так сосредоточены на сохранении прошлого, что забывают думать о будущем. Смитсоновский музей американского искусства (SAAM) к числу таковых не относится. В сентябре они превратили одного из роботизированных гидов – Pepper – в мультимедийную инсталляцию, которая трансформировала картины в музыку. На мероприятии Tech Family Day Pepper взаимодействовал с посетителями, фиксировал их эмоции и реагировал на них картиной из коллекции музея и соответствующим звуком.
Рэйчел Гослинс, директор Здания искусства и промышленности, запустившая кампанию для Pepper на Kickstarter, сказала, что проект появился благодаря сотрудничеству музея с корпорацией SoftBank Robotics USA. Разработчики Pepper предложили отдать 100 роботов Смитсоновскому музею ради различных экспериментов в области образования и взаимодействия с посетителями. В итоге Гослинс обратилась к Йену Макдермотту, члену художественной студии для тинейджеров Музея Хиршхорна, с просьбой придумать что-то для мероприятия Tech Family Day.
«Они написали код и придумали новый способ использования Pepper. Это интересно и необычно», – сказала Гослинс.
Pepper использует базу данных, состоящую из 50 изображений из коллекции SAAM. Каждое изображение соответствует одной из пяти эмоций – счастью, грусти, злости, удивлению и нейтральному настроению. Pepper считывает эмоции при помощи алгоритмов, а затем показывает изображение, соответствующее эмоции. Картинки появляются на планшете, прикрепленному к груди Pepper.
Световые датчики робота определяют цвета по шкале RGB (красный, зеленый и синий). Датчики переводят эти разные частоты света в нули и единицы с помощью микрочипа Arduino. Этот микрочип отправляет данные на Bluetooth-передатчик, который отправляет их на другой передатчик, а тот передает информацию на другой Arduino, подключенный к синтезатору Moog Werkstatt.
Werkstatt обрабатывает сигнал в диссонансных, пульсирующих тонах. Некоторые – приятные звуки вроде «бип», другие представляют собой высокий скрип. Затем Werkstatt отправляет эти импульсы на два полумодульных синтезатора Moog Mother-32, которые затем направляют звуки в модульную систему Eurorack, где для создания более сложного и мелодичного микса применяются другие эффекты.
Источник: RusBase
Фото: Virtual Multimodal Museums