Приложение для общения с глухими. Самостоятельная озвучка: программы для чтения текста голосом. Приложение, которое помогает слышать

Такие простые действия, как разговор по телефону, спуск по лестнице или даже определение срока годности молока, могут стать сложными для людей с ограниченными возможностями. Тем не менее с некоторыми из этих проблем можно успешно справиться при помощи смартфона.

Представляем подборку мобильных приложений, которые делают жизнь людей с ограниченными возможностями проще.

Приложения, которые распознают речь

​«Яндекс.Разговор»

Недавно компания Яндекс выпустила приложение, которое помогает глухим и слабослышащим общаться со знакомыми и незнакомыми людьми благодаря тому, что переводит устную речь в текст и обратно.

Приложение умеет слушать и распознавать речь – все, что вам говорят, отображается на экране смартфона в виде текста, а также произносить вслух напечатанные слова.

Приложение было придумано и разработано группой студентов МФТИ и работает на технологии распознавания речи Yandex SpeechKit.

RogerVoice

RogerVoice – это приложение, с помощью которого глухие люди могут разговаривать со своими собеседниками по телефону. Приложение использует технологию распознавания речи для того, чтобы конвертировать голос в текст, так глухие люди смогут читать, что говорит им собеседник.

Приложение появилось благодаря успешной кампании на Kickstarter – в настоящее время доступна бета-версия приложения, которую можно скачать на сайте RogerVoice.

Приложение, которое помогает слышать

HearYouNow

С помощью этого приложения пользователи с нарушениями слуха могут регулировать звук в зависимости от ситуации, в которой они находятся, – в общественном месте, на встрече и т.д. Для этого к смартфону подключаются наушники, через которые подается звук с соответствующими настройками для оптимизации фона или переднего плана.

Приложение разработано ExSilent, голландским производителем слуховых аппаратов, и рассчитано на людей, которые могут использовать слуховые аппараты, но пока не готовы к этому.

Основная проблема подобных приложений в том, что эта ниша недостаточно развита. Занимаясь поиском, я просмотрел более 30 приложений, и практически все они были рассчитаны на англоязычную аудиторию или людей, проживающих в Европе или США. Однако шесть приложений, которые представлены ниже, стали исключением и, я надеюсь, смогут кому-то пригодиться.

Miracle Modus

Miracle Modus - это приложение, созданное разработчиком-аутистом. Судя по его словам и отзывам в Play Market, приложение действительно работает. Принцип работы прост и сложен одновременно: Miracle Modus рисует различные линии и паттерны и воспроизводит расслабляющие звуки, которые оказывают успокаивающий эффект на людей, больных аутизмом.

Diabetes Log Book

Приложение, которое помогает людям, больным диабетом первой и второй степени. Сюда можно заносить всю информацию о еде, которую вы съели за день. Полный отчёт затем можно экспортировать в Excel, чтобы показать своему лечащему врачу.

Migraine Buddy

Позволяет людям, страдающим мигренью, анализировать свой образ жизни и понимать, какие факторы приводят к головным болям. Приложение также отслеживает ваш сон, чтобы вы видели корреляцию между мигренью и качеством сна.

Bumps

Bumps помогает слепым людям выучить шрифт Брайля. Приложение поддерживает только английский язык, поэтому подойдёт лишь тем, кто хочет научиться читать не только на русском. Кроме изучения алфавита, в Bumps можно вводить различные слова и смотреть, как они пишутся шрифтом Брайля.

Для Android есть подобное приложение - Braile Guide.

Spread Signs

В Spread Signs огромная библиотека жестов, помогающих общаться глухонемым людям. База приложения насчитывает более десятка языков, включая русский, украинский и английский. Можно учить как жесты, обозначающие отдельные буквы, так и целые слова.

Две студентки из пекинского университета Бейхай разработали приложение, способное помочь глухим людям в Китае. Приложение получило название Shouyin, что дословно значит “голос рук”. Оно позволяет в режиме реального времени переводить знаки языка глухонемых в речь.

Приложение работает совместно со смарт-браслетом и на данный момент может распознать более 200 знаков, каждый знак был записан тысячу раз с разных людей, чтобы повысить аккуратность перевода. Сейчас процент распознавания составляет 95%.

Юная Нана Ван, являющаяся одним из разработчиков, рассказала, что ее вдохновила глухонемая подруга, с которой она могла общаться только через сообщения на мобильном телефоне. В Китае примерно 5% населения или 70 млн человек являются глухими. Несомненно, приложение будет пользоваться большим успехом. Официальный выход приложения намечен на конец мая. В других странах мира уже существуют схожие программы. Например Uni от MotionSavvy и переводчик языка глухонемых от Google Chats.

Технологии сегодня развиваются стремительными темпами, в том числе в социальных сферах и в медицине. Они помогают не только справляться с различного рода недугами, но и лучше понимать ближнего своего, даже если его восприятие мира отличается от вашего. Поговорить с глухонемым человеком вам поможет специальное приложение, в то время как VR-технологии могут помочь, к примеру, с пониманием аутизма, а значит сблизить вас с теми, кто страдает от этого заболевания.

Различные исследования показали, что более 99% людей слышали об аутизме, но лишь 16% действительно понимает, что означает это психическое состояние. А по результатам опроса, проведённого в Великобритании, более 25% людей, страдающих аутизмом, когда-нибудь просили уйти из таких публичных мест, как ресторан или магазин, когда видели симптомы их недуга.

Чтобы справиться с этой проблемой дезинформации, британское «National Autistic Society» решило создать VR-фильм , который помог бы всем людям узнать, каково это – жить с подобным диагнозом. Gmbox писал об этом .

Этот виртуальный ролик перенесёт вас в тело юного мальчика, страдающего аутизмом, и покажет мир его глазами. В фильме вы зайдёте в торговый центр и ощутите на себе ту огромную сенсорную нагрузку, которую он ощущает, когда ходит по этому многолюдному месту. Шум, обилие различных предметов, цветов, мельтешение людей, их голоса – всё это вызывает у мальчика панику, с которой ему очень сложно справиться.

Другое сообщество, изучающее болезнь Альцгеймера, также выпустило VR-фильм, позволяющий вам побывать на месте человека, страдающего деменцией. Фильм «A Walk Through Dementia» позволит вам понять, как некоторые простые повседневные дела, вроде заваривания себе чашки чая, могут стать настоящей проблемой для обладателя этой болезни.

Идея

Привет! Меня зовут Виталий, я разработчик и соучредитель стартапа BeWarned . С детства у меня очень слабый слух, а моя жена не слышит совсем, я долгое время хотел заняться разработкой приложений и программного обеспечения для неслышащих и слабослышащих. Все проблемы, с которыми сталкиваются они, мне знакомы.

Я и моя жена Наталья

Ранее я занимался разработкой программного обеспечения для гражданских авиалиний Украины, создал приложение дополненной реальности SIMO. Мне всегда было интересно все, что связано с технологиями. А пару лет назад я познакомился с Сергеем Малюковым, ныне нашим CEO, через преподавателя Киевского политехнического института, у которого я когда-то учился.

Идея создания приложения для глухих и слабослышащих людей пришла к Сергею в 2013 году. Как-то он прогуливался вечером по улице, и ему в спину начал сигналить автомобиль, Сергей быстро отскочил в сторону, но пара, гулявшая рядом, не сдвинулась с места. Он крикнул им вслед, чтобы они отошли, но они остались на том же месте, где и стояли. Вскоре Сергей понял, что это была пара глухих, они общались между собой на языке жестов. Сергей был уверен, что существуют приложения, которые помогают распознавать опасные звуки. Проанализировав существующие приложения и гаджеты для глухих людей и не найдя ни одного решения, которое помогает распознавать опасные звуки, он задался целью сделать такое приложение. В процессе работы к нему присоединилось несколько партнеров и сейчас BeWarned находится на самоинвестировании создателей стартапа.

Как только я услышал о проекте и увидел наработки, то мгновенно увлекся идеей и вскоре стал соучредителем. На данный момент я занимаюсь техническим развитием стартапа.

Реализация

В 2014 году был выпущен первый прототип приложения BeWarned с функцией Sound Monitor, которая позволяла распознавать опасные звуки в режиме реального времени. Это был первый маленький успех. Но это было только начало.

С детства мне нравились технологии, часто собирал или разбирал что-нибудь, хотелось посмотреть, что из этого получится

По сотням писем и отзывов было понятно, что глухим людям нужно что-то большее, чем приложение, которое распознает опасные звуки. У глухих было тысячу нерешенных вопросов, которые можно решить. На основе этих писем и отзывов была создана платформа BeWarned, которая объединила 4 технических ассистента для глухих: Sound Monitor, Connect, Emergency Call и Dance.

Sound Monitor решает проблему безопасности, определяя опасные звуки (крик, звук клаксона автомобиля, лай собаки, сирена). В случае опасности приложение предупреждает пользователя вибрацией и миганием вспышки на смартфоне. Connect помогает неслышащим в общении с окружающими - он конвертирует текст в речь и наоборот. Dance позволяет ощутить музыкальные треки, благодаря конвертации их в вибрацию, световые сигналы и пульсацию визуального эквалайзера. Emergency Call помогает пользователю вызвать слышащих близких на помощь, когда он находится в опасной ситуации.

Больше видео можете найти на нашем канале

Летом 2016 года мы провели бета-тестирование платформы в США. В результате 88,9% пользователей сообщили, что порекомендовали бы приложение друзьям.

Самой сложной частью разработки BeWarned был Sound Monitor, на разработку которого мы потратили несколько лет. Программа распознавания опасных звуков базируется на нейронных сетях. Мы испробовали два вида нейронных сетей: классический многослойный персептрон и сверточную нейронную сеть. Но потом решили попробовать скрытую марковскую модель, она лучше всего подошла для наших задач.

Для того, чтобы создать базу данных, на которой будет основываться алгоритм, мы сами записывали множество вариантов одного вида опасного звука, например, сигнала автомобиля, на основе которых алгоритм будет распознавать поступающие звуки и определять их как относящиеся к определенному виду. Впрочем, в ходе работы у нас возникла проблема, заключающаяся в том, что алгоритм распознавания относил все поступающие звуки только к существующим категориям: сигналу автомобиля, крика, звука полицейской сирены и лая собаки. Например, если кто-то смеялся, то программа распознавала это как относящийся к какой-то из этих категорий. Чтобы решить эту проблему, нам пришлось сегментировать звуки, например, по частотам и другим характеристикам. Что в итоге позволило ввести дополнительный неопределенный вид звука.

Через некоторое время после выпуска платформы BeWarned, мы решили пойти на важные изменения для того, чтобы улучшить юзабилити: мы все кардинально упростили и адаптировали под восприятие глухих людей. Именно поэтому мы перевыпустили приложения по отдельности.

В декабре вышел BW Dance (Android , iOS), который из функции платформы BeWarned превратился в самостоятельное приложение. BW Dance позволяет неслышащим и плохо слышащим людям танцевать под любимые песни. Пользователь добавляет любимые песни в плейлист, а приложение преобразует музыку в вибрации, вспышки и анимации на экране. Пользователь также может почувствовать музыку с помощью визуального проигрывателя. BW Dance был позитивно воспринят пользователями как в Украине, так и за рубежом.

После этого мы выпустили Connect by Bewarned (Android , iOS), приложение позволяющее общаться глухим и слабослышащим людям со слышащими. Для того, чтобы начать общаться с одним или несколькими людьми в приложении, нужно всего лишь нажать на кнопку START и дать собеседнику говорить, после этого приложение преобразует речь в текстовое сообщение, которое сможет прочитать глухой человек. Приложение также преобразует текст в речь, глухому человеку нужно написать то, что он хочет сказать. Кроме того, мы разработали набор шаблонов, которые моделируют простые, часто повторяющиеся ситуации, например, заказ кофе в кофейне. С помощью этих шаблонов неслышащий человек может быстро сообщить что-то слышащему. Мы также предусмотрели возможность создания дополнительных шаблонов для персональных целей каждого неслышащего человека.

Результаты

В Украине нам начали активно писать журналисты, о нас сняли сюжеты СТБ, 1+1, 5 канал и другие. Мы увидели, что людям небезразличны неслышащие, а также убедились в том, что забота о простоте и юзабилити была шагом в правильную сторону. Мы поняли, что на правильном пути.

Я и моя жена общаемся с журналистами 5 канала

Мы запустили Connect by Bewarned на Product Hunt 30 января и вошли в ТОП-5 дня, а также попали в официальную рассылку. В комментариях к нашему продукту на Product Hunt мы получили предложения о помощи в разработке локализаций на французском и даже фарси. Вместе с уже существующими четырьмя локализациями - испанской, русской, украинской, и английской, мы сможем приблизиться к нашей глобальной цели: облегчению жизни неслышащих людей.

Я убежден, что айтишники должны использовать данные им умения на благо других людей. Наш небольшой, но успешный опыт показывает, что новые приложения могут существенно изменить жизнь других людей. Именно поэтому мы собираемся продолжать работать над идеей, воплощенной в Connect by Bewarned: преодоления барьеров в коммуникации неслышащих и слышащих, в мире их около 400 миллионов.

Команда BeWarned слева направо: Я, Евгений, Евгения, Иван, Юля, Сергей, Андрей, Илона, Ира, Антон, Андрей (сейчас нас еще больше, чем на этом фото:))

У таких людей, как я, часто возникают проблемы, когда им нужно пообщаться со слышащим человеком: полицейским, врачом, банкиром. Законодательно нам гарантированы равные права и доступ к сервисам и услугам наравне со слышащими. Но в реальности наши возможности существенно ограничены. Именно поэтому мы решили взяться за действительно глобальную задачу: создание мировой электронной инфраструктуры, которая облегчит доступ неслышащих людей ко всем сервисам и услугам, которые доступны слышащим людям: банкам, больницам, такси и т.д. На данный момент мы работаем именно над этой задачей.

Здравствуйте!

«Хлеб питает тело, а книга питает разум»…

Книги - одно из самых ценных богатств современного человека. Появились книги еще в древние времена и стоили очень дорого (одну книгу можно было поменять на стадо коров!). В современном же мире - книги доступны всем! Читая их, мы становимся более грамотны, развивается кругозор, смекалка. Да и вообще, пока еще не придумали более совершенного источника знаний для передачи друг другу!

С развитием компьютерных технологий (особенно в последние 10 лет) - стала возможно не только читать книги, но и слушать их (т. е. читать их вам будет специальная программа, мужским или женским голосом). Я бы хотел рассказать вам о программных инструментах для озвучки текста.

Возможные проблемы при записи

Прежде, чем перейти к списку программ, хотелось бы остановиться на распространенной проблеме и рассмотреть случаи, когда программа не может прочитать текст.

Дело в том что есть голосовые движки, они могут быть разных стандартов: SAPI 4, SAPI 5 или Microsoft Speech Platform (в большинстве программ для воспроизведения текста есть выбор этого инструмента). Так вот, логично, что помимо программы для чтения голосом - нужен движок (от него будет зависеть, на каком языке вам будут читать, каким голосом: мужским или женским и пр.).

Речевые движки

Движки могут быть бесплатными и коммерческими (естественно, что лучшее качество воспроизведения звука обеспечивают коммерческие движки).

SAPI 4. Устаревшие версии инструментов. Для современных ПК не рекомендуется использовать устаревшие версии. Лучше присмотреться к SAPI 5 или Microsoft Speech Platform.

SAPI 5. Современные речевые движки, есть как бесплатные, так и платные. В интернете можно найти десятки речевых движков SAPI 5 (и с женским и с мужским голосом).

Одна из самых лучших программ для озвучивания текста. Позволяет вашему ПК читать не только простые файлы в формате txt, но и новости, RSS, любые веб-страницы в интернете, электронную почту и пр.

Кроме того, позволяет преобразовать текст в mp3 файл (который вы потом можете загрузить на любой телефон или mp3 плеер и слушать в дороге, например). Т.е. вы можете самостоятельно создавать аудио-книги!

Голоса программы IVONA очень похожи на реальные, достаточно не плохое произношение, не запинаются. Кстати, программа может быть полезна для тех, кто изучает иностранный язык. Благодаря ней можно слушать правильное произношение тех или иных слов, оборотов.

Поддерживает SAPI5, плюс к этому хорошо кооперируется с внешними приложениями (например, Apple Itunes, Skype).

Пример (запись одной моей недавней статьи)

Из минусов: некоторые незнакомые слова читает с неправильным ударением и интонацией. В целом же весьма не плохо, чтобы прослушать, например, параграф из книги по истории, пока идешь на лекцию/занятие - даже более чем!

Балаболка

Отличная программа для работы с книгами: чтение, каталогизирование, поиск нужной и пр. Помимо стандартных документов, которые могут читать и другие программы (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT, LIT-TXT, FB2-TXT и т.д.) ICE Book Reader поддерживает файлы форматов: .LIT, .CHM и.ePub.

К тому же ICE Book Reader позволяет не только читать, но и отличная настольная библиотека:

• позволяет хранить, обрабатывать, каталогизировать книги (до 250000 тысяч экземпляров!);
• автоматическое упорядочивание вашей коллекции;
• быстрый поиск книги из вашей «свалки» (особенно актуально, если у вас много не каталогизированной литературы);
• ядро базы данных ICE Book Reader превосходит большинство программ подобного рода.

Также программа позволяет озвучивать тексты голосом.

Для этого нужно зайти в настройки программы и настроить две вкладки: «Режим»(выбрать чтение голосом) и «Режим синтеза речи» (выбрать непосредственно сам речевой движок).

Говорилка

С помощью Sakrament Talker можно превратить свой компьютер в «говорящую» аудио книгу! Программа Sakrament Talker поддерживает форматы RTF и TXT,может автоматически распознавать кодировку файла (наверное, иногда замечали, что некоторые программы открывают файл с «крякозабрами» вместо текста, так вот в Sakrament Talker такое невозможно!).

Кроме того Sakrament Talker позволяет воспроизводить достаточно большие файлы, быстро находить те или иные файлы. Озвученный текст можно не только прослушать на компьютере, но и сохранить в mp3 файл (который в последствии можно скопировать на любой плеер или телефон и прослушивать вдалеке от ПК).

В целом довольно не плохая программа, которая поддерживает все популярные голосовые движки.

На этом сегодня все. Несмотря на то, что сегодняшние программы еще не могут в полной мере (качественно на 100%) читать текст так, чтобы человек не мог определить кто это читает: программа или человек… Но считаю, что к этому когда-нибудь программы дойдут: мощности компьютеров растут, движки растут в объеме (включая все новые и новые даже самые сложные обороты речи) - а значит, достаточно скоро звук от программы будет не отличим от обычной речи человека?!вв