Израильские технологии помогут слепым увидеть мир
На конференции IPAC в Вашингтоне профессор Амир Амеди…
из Израиля продемонстрировал перед многотысячной аудиторией свою новую разработку, призванную помочь слепым людям распознавать окружающий мир. Перед совершенно слепой от рождения девушкой поставили 3 разноцветных бутылки. Ее попросили взять в руки ту из них, которая была зеленого цвета. Через несколько мгновений девушка безошибочно выбрала нужную бутылку. Затем перед ней поставили блюдо с яблоками, все из которых были зелеными и только одно красным. Заданием было выбрать красное яблоко. С этом девушка так же справилась успешно.
Это потрясающее зрелище вовсе не вопрос удачи. За этим достижением стоят годы новаторских исследований, которые профессор Амеди провел в своей лаборатории при Еврейском университете в Иерусалиме. Им и его командой был разработан сложный алгоритм интерпретации визуальных образов в звуки, основанный на технологиях замены одного вида ощущений на другие (Sensory substitution devices, SSD). Девушка на конференции была в наушниках и с миниатюрной камерой на очках, которые в свою очередь были подключены к специальной программе, называемой EyeMusic. Изображение, считываемое камерой слева на право, преобразуется программой в систему звуков, воспроизводимых затем в наушниках. Девушка смогла сделать быстрое и точное движение к объекту. Таким образом она смогла не только распознать цвет и форму предметов, определив их именно как бутылки и яблоки, но и определить их месторасположение в пространстве.
После 20 или 30 часов обучения, слепые люди, зная что в комнате есть 4 или 5 человек, с помощью данного устройства в состоянии подойти и пожать руку каждому из них.
На рынке уже существует иная израильская технология для слепых людей – OrCam. Она так же обладает возможностью с помощью камеры распознавать предметы, людей, печатный текст, вывески, указатели и сигналы светофоров при наведении на них пальца. Но ее существенным недостатком является то, что человек должен знать примерное расположение объектов в пространстве для того что бы указать на них программе. В то время, как EyeMusic дает представление обо всем окружающем человека пространстве и взаиморасположение предметов в нем.
Свидетельства слепых людей, принимающих участие в исследованиях, поражают своей драматичностью. Например, один из испытуемых пришел в однажды с заявлением: «С небом что-то не так – оно в каких-то белых пятнах». Он, слепой от рождения, знал что небо голубое с облаками, так как он слышал это с детства от других. Но когда он посмотрел на него сам с помощью программы, то «услышал» белые пятна. Это, конечно, были облака, но понимание того как именно они выглядят в реальности было открытием для него. Другая испытуемая, так же слепая от рождения, описала свой сон, в котором она ехала за рулем автомобиля: «У меня появилось понимание визуальных объектов – я стала чувствовать дороги, трассы, машины. Это забавно, но я даже «видела» световой индикатор топлива. У меня и до этого были сны про то, как я вожу машину, но ощущения никогда не были такими яркими и детальными».
Для достижения таких возможностей необходимо проводить обучение слепых новому языку звуков. Во всем мире насчитывается около 45 миллионов слепых и около 250 миллионов слабовидящих людей. «В США и в Израиле меньшая часть слепых пользуется тростью и еще менее 2% использует собак-поводырей. Другие остаются дома и не выходят на улицу в одиночку. И для такого огромного количества людей, находящихся в такой тяжелой ситуации, просто необходимо найти какое-то решение» — сказал Амеди.
Алгоритм программы строится на 4-х принципах: высота объекта представлена частотой звука (тона), ширина объекта (горизонтальная ось) передается с помощью времени и продолжительности звучания, яркости (освещенности) объекта соответствует громкость, а цвет передает определенный музыкальный инструмент. К примеру, белому цвету соответствует вокал, синему — звук трубы, желтому — скрипка, черному — полная тишина. Слепой, привыкнув к такой системе восприятия, способен с помощью звукового потока формировать в голове сложный образ, распознавая здания, пейзажи, бытовые предметы, людей, читать буквы и слова, и даже определять выражение лиц людей.
«Для меня в этой разработке есть много личного. Я играю на саксофоне с 13 лет. Во время обучения на первой степени, я одновременно учился в музыкальной академии. Музыка открывает новые миры в нашем сознании, и поэтому я всегда мечтал о том что бы совместить исследования работы мозга с музыкой. И в этом проекте я, наконец, объединил знания из обоих областей. В некоторые алгоритмы были заложены джазовые и блюзовые элементы» — поделился Амеди.
Постоянный звук в ушах поначалу может утомлять, но после нескольких тренировок человеческий мозг адаптируется к этому. К тому же продукт все время совершенствуется, и в последней версии звуки стали более приятными, чем в предыдущих.
Около месяца назад было получено разрешение на работу в игровой форме с детьми от 10 лет и старше. Также ожидается получение разрешения на работу с детьми значительно младшего возраста (4-6 лет). Как считает профессор Амеди, чем в более младшем возрасте начать обучение ребенка данной методике, тем более быстрыми и впечатляющими могут быть результаты.
Главным преимуществом этого метода является его доступность для людей. Данное приложение может стать серьезной альтернативой дорогостоящим операциям, цена которых в отдельных случаях может варьироваться в районе 100 тысяч евро.
Проект EyeMusic несет в себе не только социальную миссию, но и важные научные открытия. В течении многих десятилетий считалось, что зрительная кора головного мозга не в состоянии развиваться без получения визуальной информации. Исследования, проведенные профессором Амеди и его коллегами со слепыми от рождения людьми, выявили во время использования EyeMusic в их мозговой деятельности активность тех же визуальных зон, которые активны и у людей зрячих.
«Мы пытаемся готовить обучение в игровой форме, что бы люди не просто тратили часы на обучение, но и получали от этого удовольствие. Наша цель – что бы через год-два центры поддержки слепых, офтальмологические клиники и другие структуры с этим связанные, взяли программу на вооружение» — объясняет Амир Амеди.
Исследовательская деятельность профессора Амеди привлекает к себе внимание научных кругов во всем мире. Его работы были опубликованы в таких влиятельных научных журналах как «Science», «Nature», «Neuron», «Nature Neuroscience». В 2011 году он получил премию Вольфа за выдающиеся достижения в области научных исследований.
В самое ближайшее время профессор Амеди и его коллеги планируют выход улучшенной версии приложения EyeMusic для мобильных телефонов, что сможет подарить миллионам слепых во всем мире огромные возможности.
