Сайт о роботах

Интерфейс без движения дарит пациентам свободу действий » роботы для связи и общения


Компания Toyota вместе с институтами японского исследовательского фонда RIKEN представили инвалидное кресло, управляемое силой мысли! В качестве блока управления используется специальная шапочка с электродами для снятия ЭЭГ.
Навигация
Самые интересные статьи
LEGO MINDSTORMS NXT 2.0 - круто прокачанный робот лего
LEGO MINDSTORMS NXT 2.0 - круто прокачанный робот лего
Конструктор lego mindstorms второго поколения обладает такими способностями, которые на несколько дней могут озадачить даже взрослого опытного инженера. А уж про то,...

Обратите внимание Будьте в курсе событий.

Интерфейс без движения дарит пациентам свободу действий

20.03.2011, 12:30


Интерфейс без движения дарит пациентам свободу действий
Человек в кресле парализован, между тем он спокойно объезжает препятствия на "испытательном треке" (фото Georgia Tech/Gary Meek).

Парализованные пациенты с нетерпением ждут массовой системы управления предметами силой мысли. Учёные и инженеры вроде уже не раз и не два показывали такие опытные установки в действии. Вот только с их серийностью, не говоря уже о массовости, – проблема. Три новые технологии, появившиеся недавно, должны существенно продвинуть работы на данном фронте.

Ранние опыты в области управления инвалидной коляской силой мысли учёные и инженеры ставили ещё в 2003 году. Базировались они на съёмке электроэнцефалограммы (ЭЭГ).

Как уже неоднократно говорилось, главная трудность тут не в получении сигналов активности клеток, а в том, чтобы понять – что именно означают эти сигналы? Несмотря на обилие знаний о мозге, учёные тут всё ещё напоминают слепых мудрецов из древней притчи, взявшихся на ощупь определить, что же такое слон? Один нащупал хобот, другой хвост, третий уши, но целой картины, понятно, не получилось.

По другой версии, три слепых слона ощупывали человека, но это не так уж важно. В общем, впечатляющие результаты в области мысленных интерфейсов, пока ещё по большей части представляют собой результат эмпирических находок, позволяющих применить пойманные закономерности в узких областях.

"Мозговая шапка", или просто система крепления наружных электродов, использованная "Тойотой". В целом ничем не отличается от аналогов, применённых в других схожих проектах. Главная изюминка новой технологии – софт. Обратите внимание, одновременно сигналы снимаются далеко не со всех точек – шапка позволяет переставлять электроды в зависимости от целей того или иного опыта (фото RIKEN).

"Мозговая шапка", или просто система крепления наружных электродов, использованная "Тойотой". В целом ничем не отличается от аналогов, применённых в других схожих проектах. Главная изюминка новой технологии – софт. Обратите внимание, одновременно сигналы снимаются далеко не со всех точек – шапка позволяет переставлять электроды в зависимости от целей того или иного опыта (фото RIKEN).

Так появилось немало прообразов систем помощи инвалидам: от интерфейса с коляской до мысленного письма. Более того, накопленные знания привели к тому, что эта же, по сути, технология вышла в области, совсем уж далёкие от медицины, вроде экзотического шоу мозгового оркестра или даже серийной настольной игрушки — мысленного баскетбола.

Но парализованные больные своего "слона" так и не получили. И всё, что осталось исследователям, – продолжить поиски лучшего решения.

Недавно очередной крупный шаг сделала компания Toyota совместно с институтами японского исследовательского фонда RIKEN. Партнёры представили инвалидное кресло, вполне живо и оперативно управляемое силой мысли. В основе – всё та же шапочка с электродами для снятия ЭЭГ. Новшества в деталях.

Инвалидное кресло от "Тойоты" – лишь прототип. И программа для его управления работает на обычном ноутбуке. Но в будущем, вероятно, всю необходимую электронику можно будет встроить в само кресло (фото RIKEN).

Инвалидное кресло от "Тойоты" – лишь прототип. И программа для его управления работает на обычном ноутбуке. Но в будущем, вероятно, всю необходимую электронику можно будет встроить в само кресло (фото RIKEN).

Одна из трудностей подобной технологии – электрический шум. Сигналы от клеток мозга измеряются микровольтами и легко перекрываются помехами. Другая проблема – точность размещения электродов в ключевых точках. В случае с применением "мозговой шапки" в движении неизбежно возникают небольшие сдвиги этой самой шапки, приводящие к искажению картины.

Это всё складывается с трудностью расшифровки сигналов и умножается на время, необходимо компьютеру, чтобы верно интерпретировать данные. Помнится, в мысленном письме одна буква ставилась 15 секунд. Для движения коляски в реальной обстановке такое промедление непозволительно.

И вот теперь, как гласит пресс-релиз компании Toyota, японские учёные добились существенного ускорения декодирования сигналов с шапки с электродами.

В новом кресле пациент просто представляет себе желаемое направление движения, а система расшифровывает его мозговые сигналы всего за 125 миллисекунд.

То есть кресло принимает новую команду каждые 1/8 секунды. При этом перед глазами человека на экране ноутбука отражается принятое решение – обратная связь помогает настроиться на нужный лад. А в результате на новом кресле можно хоть слалом между стульев выполнять.

При этом после тренировки и смотреть на экран не нужно – человек ощущает такое кресло как продолжение себя.

Помимо датчиков ЭЭГ испытатель кресла носил датчик выдоха (или датчик надувания). Он приклеен к щеке. Этот сенсор определяет надутую щёку – сигнал к немедленной остановке. Сделано это для подстраховки – сенсор движения щеки надёжнее технологии считывания мозговых волн, так что может использоваться как аварийный "стоп-кран" (фото RIKEN).

Помимо датчиков ЭЭГ испытатель кресла носил датчик выдоха (или датчик надувания). Он приклеен к щеке. Этот сенсор определяет надутую щёку – сигнал к немедленной остановке. Сделано это для подстраховки – сенсор движения щеки надёжнее технологии считывания мозговых волн, так что может использоваться как аварийный "стоп-кран" (фото RIKEN).

Не так давно Honda усовершенствовала мысленный интерфейс "человек – робот", добавив к ЭЭГ ещё и портативную систему инфракрасной спектроскопии. Так, совместив два источника данных, удалось повысить точность понимания мысленных команд человека – она составила 90%.

А вот у кресла "Тойоты", с одним дешифратором ЭЭГ, но зато скоростным, точность распознавания команд инвалида составила 95%. Секрет, как поясняет компания, заключается в новых алгоритмах разделения полезного сигнала и шума, а также – в некой пространственно-временной фильтрации сигналов мозга.

Японцы намерены довести свою технологию до практического применения, а также собираются продолжить опыты с расшифровкой мозговых волн, в том числе отражающих не только желание человека передвинуться правее или левее, но и сообщающих о его эмоциях.

Но о сроках внедрения этой разработки её авторы пока ничего не сообщают. Очевидно, это долгий путь тестов и усовершенствований. Может, в клиниках быстрее появится другая технология управления инвалидным креслом?

Tongue Drive – управление языком. Оно, конечно, не имеет никакого отношения к чтению мыслей (даже такому поверхностному, как в предыдущем примере), но для внешнего наблюдателя выглядит точно так же. А для пациента куда важнее, что новый способ проще и дешевле ЭЭГ.

Построили языковой интерфейс в технологическом институте Джорджии (Georgia Institute of Technology). А недавно этот аппарат прошёл клинические испытания с реальными пациентами в медицинском центре Shepherd. И пострадавшие от травмы спинного мозга отметили, что система Tongue Drive – проста в понимании и освоении.

Инвалидам предложили пройти маршрут, включающий до 10 поворотов и разворотов (фото Georgia Tech/Gary Meek).

Инвалидам предложили пройти маршрут, включающий до 10 поворотов и разворотов (фото Georgia Tech/Gary Meek).

Работает система так. На кончик языка приклеивается крошечный магнит (размером с зёрнышко риса). Пациенту надевают наушники, снабжённые беспроводным каналом связи с ноутбуком (последний управляет креслом), и главное – целым набором сенсоров магнитного поля, с высокой точностью определяющих перемещение языка во рту.

Таким образом, смещение кончика языка правее или левее, а также выше или ниже — интерпретируется компьютером как перемещение курсора по экрану (например для навигации по меню), либо как команды креслу.

В итоге "языковой" интерфейс одним выстрелом убивает двух зайцев. Один и тот же набор электроника-софт позволяет инвалиду управлять компьютером или своей электрической повозкой.

Круз Богл (Cruise Bogle), один из испытателей кресла, демонстрирует магнит на языке. За плечами Круза стоят разработчики Tongue Drive Чинь Вэнь Чэн (Chih Wen Cheng), Сюэлян Хо (Xueliang Huo) и главный автор системы — Маисам Хованлу (Maysam Ghovanloo) (фото Georgia Tech/Gary Meek).

Круз Богл (Cruise Bogle), один из испытателей кресла, демонстрирует магнит на языке. За плечами Круза стоят разработчики Tongue Drive Чинь Вэнь Чэн (Chih Wen Cheng), Сюэлян Хо (Xueliang Huo) и главный автор системы — Маисам Хованлу (Maysam Ghovanloo) (фото Georgia Tech/Gary Meek).

Для тренировки языка пользователям предлагали даже играть им в компьютерные игры – смещением "языкового курсора" инвалид должен был как можно быстрее провести точку через лабиринт на экране, или отбить летящий мячик.

Эти тренировки помогали не только освоить интерфейс, но и выявить личные предпочтения человека, особенности его анатомии, а значит – лучше настроить дешифратор движений.

Богл и компьютер учатся правильно понимать друг друга в ходе выполнения тестовой программы. Между прочим, на кадрах с баскетбольной площадкой в кресле также Круз. Детали этого эксперимента, кстати, изложены в статье в IEEE Transactions on Biomedical Engineering (фото Georgia Tech/Gary Meek).

Богл и компьютер учатся правильно понимать друг друга в ходе выполнения тестовой программы. Между прочим, на кадрах с баскетбольной площадкой в кресле также Круз. Детали этого эксперимента, кстати, изложены в статье в IEEE Transactions on Biomedical Engineering (фото Georgia Tech/Gary Meek).

Далее пациентам предложили пройти настоящий лабиринт – трассу, выложенную на баскетбольной площадке. Сначала парализованные испытатели объезжали все препятствия в дискретном режиме. То есть "поворот влево – стоп — немного вперёд – стоп — поворот вправо – стоп — ещё вперёд — стоп" и так далее. Но после освоения техники "языкового пилотирования" инвалиды ухитрялись проезжать всю трассу без остановок, хотя и с некоторыми ошибками.

После ряда испытаний с несколькими людьми учёные из политеха Джорджии установили, что средняя скорость при дискретном режиме движения составила 5,2 метра в минуту при среднем числе столкновений 1,8. В непрерывном режиме скорость поднялась до 7,7 метра в минуту при среднем числе столкновений 2,5 на один заезд, сообщается в пресс-релизе института.

Специалисты отмечают, что новая система более лояльна к ошибкам, нежели прежний вариант управления, в котором инвалид должен касаться кончиком языка крошечной клавиатуры, закреплённой перед ртом. И новинка более легка в использовании.

Прошлым летом, прежде чем отдать кресло для испытаний пациентам, американские исследователи проверили сырую ещё тогда технологию на себе. На снимках – Хованлу и Хо (фотографии Georgia Tech/Gary Meek).

Прошлым летом, прежде чем отдать кресло для испытаний пациентам, американские исследователи проверили сырую ещё тогда технологию на себе. На снимках – Хованлу и Хо (фотографии Georgia Tech/Gary Meek).

Авторы Tongue Drive добавляют, что их система позволяет машине различать гораздо больше разных движений языка по сравнению с использованными на данный момент шестью фиксированными положениями. Так что по идее в программу можно заложить выполнение куда большего числа команд.

В будущем сенсоры магнита можно будет уменьшить, и они тоже незаметно впишутся в ротовую полость, сообщают учёные. С учётом беспроводной связи с инвалидной коляской такой интерфейс может оказаться ничем не хуже мозгового.

Но всё же так хочется научиться считывать с мозга большое количество команд. Ведь подобное продвижение к киборгизации для многих людей – единственный путь к более активному общению с миром.

А помните, что мы говорили о недостатках систем ЭЭГ? Слабые сигналы и погрешности в позиционировании не позволяют значительно нарастить тонкость распознавания сложных мыслей.

Есть альтернатива – помещение электродов непосредственно в мозг. Но, во-первых, это сложная и опасная операция, во-вторых – существует риск травмы, которая нарушит важные нейронные цепи пациента, в-третьих, любое вторжение в мозг – это риск инфекции.

И вот теперь учёные из университета Юты (University of Utah) создали технологию, способную совместить тонкость считывания, как у погружённых электродов, с безопасностью почти такой же, как у электродов ЭЭГ, сидящих на простой шапочке.

Как сообщает команда разработчиков в пресс-релизе университета, новинка представляет собой массив легчайших и почти незаметных простым глазом микроэлектродов, предназначенных для снятия электрокортикограммы. И главное – помещаются они на поверхность мозга (под черепную коробку), но при этом ни на йоту не погружаются в мозг как таковой.

Пучки тончайших проводков, сгруппированных в зелёный и оранжевый кабели, подходят к тонким и прозрачным силиконовым "пластырям"  (на снимке они едва заметны), заполненным массивом микроскопических электродов (фото University of Utah Department of Neurosurgery).

Пучки тончайших проводков, сгруппированных в зелёный и оранжевый кабели, подходят к тонким и прозрачным силиконовым "пластырям" (на снимке они едва заметны), заполненным массивом микроскопических электродов (фото University of Utah Department of Neurosurgery).

Такие микроэлектроды учёные поместили в определённые зоны на поверхности мозга эпилептиков, чтобы выявить участки, неправильная работа которых провоцирует приступы.

Новые электроды столь малы, что могут фиксировать сигналы от очень небольших групп клеток, что в будущем позволит, к примеру, провести операцию по удалению крошечного участка мозгового вещества. А чем меньше будет такой удаляемый участок, тем лучше.

В испытаниях на добровольцах авторы технологии варьировали расстояние между соседними микроэлектродами в группе, выявляя наиболее оптимальную дистанцию для считывания различных сигналов без перекрёстных помех. Она оказалась равна 2-3 миллиметрам.

Массивы микроэлектродов с масштабом и нумерацией. Вверху: первый пациент носил систему из двух групп электродов по 16 штук в каждой. Внизу: второй пациент – одна группа из 32 электродов (фотографии Neurosurgical Focus/University of Utah Department of Neurosurgery).

Массивы микроэлектродов с масштабом и нумерацией. Вверху: первый пациент носил систему из двух групп электродов по 16 штук в каждой. Внизу: второй пациент – одна группа из 32 электродов (фотографии Neurosurgical Focus/University of Utah Department of Neurosurgery).

Для того чтобы выявить, насколько массив микроэлектродов способен вычленять тонкие мозговые сигналы из общего потока, учёные просили пациентов поработать с компьютерной мышью, а сами в это время записывали показания сенсоров, размещённых на поверхности мозга, в зоне, ответственной за моторику рук.

Компьютерные вычисления показали, что точность снятия сигналов достаточно высока, чтобы машина могла определять движение руки по одним только показаниям микроэлектродов.

А это значит, что в будущем данная технология вполне может вылиться в киберинтерфейс, позволяющий парализованным пациентам управлять техникой (или протезами), немым – разговаривать с помощью синтезатора голоса и так далее.

Причём микроэлектроды позволяют снимать сигналы с мозга в реальном времени, что и необходимо для такого рода приложений.

Пусть пройдёт ещё немало лет, прежде чем подобная операция станет обычной. Но если хотя бы нескольким несчастным такая имплантация облегчит жизнь, можно сказать, что исследователи старались не зря.


Робот ROBOSEM учит корейских детишек английскому

Робот ROBOSEM учит корейских детишек английскому
  • В конце 2010 года корейская компания Yujin Robot представила свою последнюю разработку – робота ROBOSEM. Он основан на роботе-официанте CAFERO, ...
  • НАЗАД
    Нейронный телефон подчиняется мыслям владельца

    Нейронный телефон подчиняется мыслям владельца
  • Удивительную систему создали компьютерные специалисты из Дартмутского колледжа (Dartmouth College). Называется новинка 'Нейрофон' (NeuroPhone, ...
  • ВПЕРЁД