Денис Кулешов и компания «Сенсор-Тех»

Компания «Сенсор-Тех» выпускает умные устройства, которые улучшают жизнь незрячих и глухих. Камера «Робин» помогает ориентироваться в пространстве: распознает объекты и подсказывает человеку через наушники, куда нужно повернуть, а где остановиться. Гаджет «Чарли» преобразует речь в текст на экране или дисплее Брайля и помогает общаться тем, кто не слышит.

В интервью циклу «Страну меняют люди» Денис Кулешов поделился историями людей, которые впервые полноценно увидели мир благодаря умным очкам, а также рассказал о прогнозах футурологов и необычном применении гаджетов от команды «Сенсор-Тех».

Денис Кулешов. Фото предоставлено АНО «Лаборатория «Сенсор-Тех». 

— Наша компания создает устройства и разрабатывает программы для смартфонов, которые помогают незрячим или глухим, а также людям с аутизмом. Каждый из них сталкивается в жизни с трудностями, мешающими полноценно общаться, учиться, работать, достигать своих целей.

Один из наших популярных проектов называется «Робин» — это умная камера, которая помогает слепым ориентироваться в пространстве и распознавать лица знакомых. Устройство с помощью искусственного интеллекта подсказывает, какие препятствия встречаются на пути, будь то автомобиль или человек. «Робин» также может озвучивать текст на бумаге — достаточно навести камеру на документы или книги.

«Робин» — это умная камера, которая помогает слепым ориентироваться в пространстве и распознавать лица знакомых. 
Фото предоставлено АНО «Лаборатория «Сенсор-Тех».

Ещё один гаджет — «Чарли» — внешне похож на умную колонку, помогает тем, кто плохо или совсем ничего не слышит. Устройство «ловит» речь и преобразует её в текст на экране телевизора, планшета, телефона или дисплея Брайля. Обычно люди с нарушением слуха общаются в поликлинике или МФЦ с помощью записок — это долго, непонятно и порой унизительно, особенно когда понимаешь, что заставляешь ждать тех, кто стоит за тобой в очереди. «Чарли» делает общение комфортным для всех участников.

«Чарли» помогает тем, кто плохо или совсем ничего не слышит
«Чарли» помогает тем, кто плохо или совсем ничего не слышит.
Фото предоставлено АНО «Лаборатория «Сенсор-Тех».
Виктория Шиманская

Другой наш проект для людей с нарушенным слухом — цифровой онлайн-помощник «СУРДО-ПОМОЩЬ». Он переводит речь в текст и создает субтитры в мобильном приложении, выступает как виртуальный сурдопереводчик, который с помощью ИИ генерирует русский жестовый язык и, при необходимости, позволяет подключить реального сурдопереводчика для общения через видеоконференцию. У нас в штате работают такие специалисты, и мы ищем способы предоставить нашу платформу организациям, которые занимаются сурдопереводом.

Мы сейчас также вместе с партнерами в Москве разрабатываем интеллектуального чат-бота, который текстовые сообщения дублирует на жестовом языке. В перспективе он может стать альтернативой службам поддержки для глухих, которые не могут звонить по телефону.

Флагманский проект нашей организации — разработка нейроимплантов. «Сенсор-Тех» был учрежден Фондом поддержки слепоглухих «Со-единение».

Для нас важно сделать так, чтобы любой человек, который потерял зрение или слух, мог восстановить эти способности в идеале до прежнего уровня или хотя бы смог разбирать речь, ориентироваться в пространстве и вести активный образ жизни.

Макет имплантата ELVIS C. Фото предоставлено АНО «Лаборатория «Сенсор-Тех».


Мы создаем нейроимпланты для восстановления слуха и зрения. Если говорить про слух, то кохлеарные импланты — давно известные в медицине устройства для восстановления способности слышать. Они состоят из двух частей: внутренней, встроенной хирургом во время операции в улитку внутреннего уха, и внешней, которая носится за ухом, включает приемник, передатчик, звуковой процессор, батарейку и выглядит как рожок.

Электрод — тонкий провод — вживляется в улитку и электричеством стимулирует нервные окончания, передавая звуковые сигналы в мозг. «Слушает» окружающий мир микрофон, который человек носит снаружи.

Проблема в том, что сейчас в России ставят только иностранные кохлеарные импланты. Российских имплантов не существует в принципе, а это очень важная технология для помощи пациентам.

Наша миссия — создать и сертифицировать в ближайшие годы российский кохлеарный имплант ELVIS C, который можно будет ставить людям с нарушенным слухом.


В России разрешено проводить такие операции детям с полутора лет, чтобы они росли в мире, полном звуков, и могли развиваться, учиться, общаться. Если мы сделаем свою систему, то не будет риска, что иностранцы прекратят поставки устройств.

С электронным зрением ситуация обстоит иначе. В мире пока не существует ни одной сертифицированной системы с имплантом, который мог бы воздействовать на мозг и передавать картинку, — мы всё-таки видим не глазами, а мозгом. Именно он анализирует информацию, получаемую от зрительного нерва.

Наша команда разработала технологию ELVIS V, которая передает картинку с камеры в зрительную кору головного мозга. Если стимулировать ее токами, то человек будет видеть световые вспышки, похожие на те, когда мы закрываем глаза и давим на глазные яблоки — получаются «звездочки». Из этих «звездочек» или световых «пикселей» получаются изображения. ELVIS V пока тестируем на обезьянах, затем последует этап клинических испытаний на добровольцах. Желающие уже есть.

Недостаток всех наших технологий — приличная стоимость. Это проблема существует не только в России, но и других странах. Например, гаджет «Робин» стоит 170 тысяч рублей, а «Чарли» свыше 200 тысяч рублей. Но благодаря поддержке Агентства стратегических инициатив, профильных министерств и учредителя — Фонда поддержки слепоглухих «Со-единение» мы смогли включить в федеральный перечень технических средств реабилитации «Робина». «Чарли» пока не включили, но устройство закупают корпоративные клиенты: центры социальной защиты, благотворительные фонды, поликлиники, учебные заведения, МФЦ — всего около 70 организаций из 20 регионов России используют этот гаджет.

С точки зрения Агентства стратегических инициатив наш проект достаточно зрелый. Мы научились привлекать деньги, например, через спонсоров и благотворителей. Но мы затрагиваем социальную сферу, которая предполагает постоянный диалог с государством, и в нем нам нужна поддержка. АСИ помогает решать вопросы с административными барьерами и наладить коммуникацию с госкомпаниями и крупным бизнесом. Мы не так часто обращаемся в агентство по мелочам, но бывает, нам нужно выйти на кого-то в регионе или попасть на мероприятие. АСИ упрощает этот путь.

На разработку «Чарли» и «Робина» ушло три года от идеи до запуска серийного производства. Нам важно было, чтобы нейросеть работала с определенным оборудованием, камерами и в конкретных условиях. Сейчас регулярно улучшаем функции и повышаем точность распознавания разных объектов на наших устройствах. Это обычная практика — приложения на смартфонах тоже обновляются регулярно. Что касается «железа», то мы выбираем такое, чтобы его хватало с запасом.

— Компоненты отечественные?

— Почти все компоненты в наших разработках российские.Мы выбираем только то, что соответствует критериям качества и стоимости. Учитывая новые мировые реалии, есть ещё один параметр — риск внезапного прекращения поставок компонентов в Россию.

Мелкие детали, такие как резисторы и транзисторы, можно купить у китайских производителей, так что дефицита не опасаемся. Камеры для «Робина» и «Чарли» в России либо не производят, либо стоят дорого, поэтому все компоненты тоже закупаем в дружественных странах, преимущественно в КНР.

— Какие отзывы от пользователей?

— Благодаря спонсорской поддержке мы подарили детям несколько десятков комплектов умных очков SMW Patch. Одна из мам потом прислала видео, на котором видна реакция ребенка: он был потрясен, когда впервые увидел, как выглядит соседний дом — мальчик не знал, что в многоэтажках бывают балконы и долго стоял у окна и разглядывал, что происходит на улице.

3 года
прошли от идеи до запуска серийного производства
Умные очки SMW Patch. Фото предоставлено АНО «Лаборатория «Сенсор-Тех».

Одна из наших пользовательниц использует в «Робине» функцию распознавания лиц, чтобы играть в прятки с внуками на даче. Женщина запрограммировала устройство так, что умный гаджет подсказывает ей, куда нужно идти.


Интересные результаты мы получили от организации из сферы социальной защиты, которая использует «Чарли» для работы с населением. Функция перевода помогает в два раза быстрее общаться, а также экономит деньги компании на найме специалистов.

Цифровой онлайн-помощник «СУРДО-ПОМОЩЬ» после запуска будет доступен бесплатно. Проект финансируется ФРИИ, в будущем планируем монетизировать его. Думаем, что ставку сделаем на сотрудничество с крупными компаниями и государством, а частным пользователям предложим бесплатный доступ, либо использование функций до определенного лимита, остальное — за отдельную стоимость.

Мы также получаем много благодарностей от пользователей умных очков SMW Patch для слабовидящих. Это еще один наш программный продукт: мы разработали приложение для смартфона, которое с помощью камеры телефона и VR-очков обрабатывает изображения в зависимости от заболевания глаз и, благодаря специальным настройкам и фильтрам, человек видит четкую яркую картинку и может смотреть телевизор или читать книги.

Даниил Скупко, сотрудник специализированной библиотеки для незрячих
«Мои впечатления от устройства „Робин“ очень позитивные. Очень интересный функционал. Очень радует то, что можно буквально за долю секунд найти какой-либо предмет. А также очень удобным кажется его компактность, это устройство можно взять с собой. Оно даже поместится в сумочку, в рюкзак. Считаю устройство незаменимым в повседневной жизни»
Приложение SMW Patch. Фото предоставлено АНО «Лаборатория «Сенсор-Тех».

— Ради чего вы этим занимаетесь?

— Меня вдохновляет, что мы меняем к лучшему мир конкретных людей и улучшаем их качество жизни. К тому же интересно работать с новыми технологиями: искусственный интеллект в реабилитации, нейроимпланты в медицине — суперсовременные и прорывные направления, которыми мало кто занимается в России и мире. Интересно исследовать предел возможностей технологий.

— А есть ли предел...

— Действительно, есть ли предел? Технологии развиваются стремительно: то, что было недоступно и дорого сегодня, буквально через три года можно купить за вменяемые деньги в виде маленького микрочипа, который можно использовать. Эта динамичность и постоянные изменения делают нашу работу захватывающей и увлекательной.

Иногда наши технологии не только решают проблемы, но и вдохновляют людей на изменения в жизни. Некоторые удивляются, узнав, как много талантливых специалистов работают двадцать четыре на семь над новыми полезными разработками. Это мотивирует как пользователей, так и нас. Люди часто приезжают в офис, чтобы познакомиться с командой и узнать больше о наших проектах. В этом есть какая-то магия технологий, которые воспринимаются как нечто особенное.

Футурологи прогнозируют, что к 2040–2045 годам устройства-помощники могут стать частью жизни любого человека, а не только тех, кто плохо видит или слышит. Например, можно использовать подобные приборы для того, чтобы видеть в темноте, ориентироваться во время прогулок по городу или постоянно следить за состоянием организма. Но мы всё же пока сосредоточены на медицинском применении нейроимплантов — предоставляем людям с тяжелыми заболеваниями конкретный способ решения их проблемы.

Бывает, люди недовольны скоростью разработки и хотят быстрых результатов, но мы понимаем, что многие технологические проекты критикуют, и это не всегда отражает реальное качество продукта. Иногда это просто показатель того, что пользователи заинтересованы и переживают за результат.

Важно помнить, что любой софт или гаджет постоянно улучшается и развивается — достичь идеала в технологиях невозможно.

Интервьюер
Иван Сурвилло
Журналист, интервьюер,
автор второго сезона
«Страну меняют люди»