Музыка и кохлеарные импланты

Музыка – сложный звуковой сигнал. Музыка воспринимается и подвергается сложной обработке со стороны органов слуха и человеческого восприятия. Сегодня многие производители кохлеарных имплантов заявляют, что их импланты обеспечивают своим владельцам точное и приятное восприятие музыки. Однако на результат в данном случае влияет целый ряд факторов, в число которых входит количество и состояние сохранных волосковых клеток, характеристики импланта и звукового процессора по обработке сигнала, правильное введение в улитку электродной решетки, а также психосоциальные факторы, такие, как наличие у реципиента слуховой памяти и/или опыта прослушивания музыки, тип музыки. И это далеко не полный перечень. Понятно, что для каждого пациента требуется индивидуальный подход.

Хотя кохлеарный имплант был разработан в первую очередь для того, чтобы улучшать речевую коммуникацию, он может улучшать и восприятие музыки для многих своих владельцев. Гфеллер обнаружила, что удовольствие от прослушивания музыки после имплантации сильно отличается от пациента к пациенту.

Эта информационная статья для специалистов содержит обзор новейших исследований, посвященных изучению восприятия музыки и отношению к ней пользователь КИ. Первая часть представляет собой резюме Вступительного симпозиума по восприятию музыки с помощью КИ, прошедшего в октябре 2006 г. в Сиэтле. Вторая часть описывает некоторые европейские исследования, изучающие влияние бимодальной стимуляции и изменения входного динамического диапазона на восприятие музыки.

Третий раздел содержит обзор работы, проведенной в университете Мельбурна (Австралия), в ходе которой было исследовано влияние бимодальной стимуляции на восприятие музыки у взрослых и детей.

Вступительный симпозиум по восприятию музыки с помощью КИ

17 октября 2006 г. корпорация Cochlear в сотрудничестве с Центром исследований слуха имени Merrill Bloedel (штат Виржиния) и отделением отоларингологии Вашингтонского университета (Сиэтл, Вашингтон) провела  Вступительный симпозиум по восприятию музыки с помощью КИ. Это резюме включает в себя основные работы, представленные на конференции.

Восприятие музыки и ее оценка

Д-р Кейт Гфеллер из университета Айовы высказала ключевой постулат: «Окружающие факторы и индивидуальные различия – вот что влияет на восприятие музыки и удовольствие от ее прослушивания для владельцев КИ». Гфеллер сравнила два комплексных сигнала: музыку и устную речь.

Согласно определению, музыка – не просто мелодия; она несет в себе определенный смысл, внутреннюю тематическую структуру, а также информацию, которая охватывает культурные и индивидуальные ассоциации человека, возникающие в процессе прослушивания музыки. Некоторые пользователи КИ могут испытывать трудности восприятия или интерпретации отдельных музыкальных аспектов из-за плохого звукового разрешения, но они могут воспользоваться вспомогательной информацией, чтобы получать больше наслаждения от прослушивания музыки.

В процессе исследований, в которых участвовали свыше 200 владельцев КИ, Гфеллер и ее коллеги разбили 17 прогнозирующих переменных на три группы: технические факторы, индивидуальные характеристики и жизненный опыт. Эти факторы изучались по отношению к разным независимым музыкальным переменным, таким, как оценка высоты тона, распознавание мелодии с текстом и без и оценка качества звучания.

Полученные результаты показали, что элементы восприятия и оценки сильно отличаются и формируют два разных аспекта прослушивания музыки. Следовательно, прогнозирующие факторы по-разному влияют на каждые конкретные особенности восприятия. Например, использование СА оказалось важным прогнозирующим фактором влияния на реальное восприятие музыки.

Было также обнаружено, что способность к восприятию речи, измеренная с помощью речевого теста HINT (тест слуха в присутствии шума), оказывала заметное влияние на узнавание песенной мелодии с текстом. Кроме того, как официальные занятия музыкой (в школе и за ее пределами), так и количество музыки, прослушиваемой после кохлеарной имплантации, влияли на показатели точности восприятия.

Гфеллер кратко охарактеризовала пользу от занятий музыкой. Трехмесячная программа тренинга улучшила распознавание и оценку тембра инструментов. Она рекомендовала использовать тренинг и длительное прослушивание музыки для сокращения периода привыкания к КИ. В результате повторяющегося воздействия мозг может заполнять пробелы в музыке и создавать дополнительные слуховые ощущения. В первую очередь это относится к людям, оглохшим после овладения речью, потому что у них имеется внутреннее представление музыки, основанное на прошлом опыте и памяти.

Вашингтонский университет – клинический протокол оценки звучания музыки

От имени организатора симпозиума д-р Джей Рубинштейн представил Клинический протокол оценки звучания музыки Вашингтонского университета (UW-CAMP). Он составляется независимо и содержит три теста, оценивающих основные показатели, связанные с восприятием музыки:

1. Жестко отобранный мелодический тест с ограниченным набором временных символов.
2. Жестко отобранная идентификация музыкального инструмента (тембра).
3. Дифференциация высоты тона; слушатель определяет, какой из двух предъявленных тонов выше.

Результаты опроса 27 пользователей КИ, прошедших тест UW-CAMP и другие психофизические измерения в виде тестов на временное и спектральное разрешение и понимание речи, говорят о том, что восприятие речи в шуме и восприятие музыки имеют прямую взаимосвязь.

Корпорация Cochlear планирует провести широкомасштабное клиническое исследование с целью определения возможности использования теста UW-CAMP для клинических измерений восприятия музыки у пользователей КИ.

Субъективная оценка слухового восприятия в реальных условиях

Д-р Рич Тайлер и его коллеги из университета Айовы разрабатывают клиническое средство, которое позволит пользователям КИ оценивать четкость разнообразных звуков реального мира, включающих детские и взрослые голоса, речь в шумной обстановке, звуки повседневной жизни и музыку. После подачи каждого звука у испытуемого спрашивают, что он слышит, и просят оценить четкость образца по 100-балльной шкале. Полученные результаты говорят о том, что оценки четкости выше при бимодальной стимуляции (имплант вместе со СА), чем при использовании одного КИ. Последующие оценки восприятия речи в тишине, в шумной обстановке повседневных звуков и музыки дают различные результаты. Исследования, сравнивавшие оценки разных стратегий обработки сигнала, показали, что этот тест дает разные результаты в зависимости от стратегии и отслеживает временные изменения в восприятии. Эта серия исследований кажется многообещающей, так как она говорит о том, что со временем слушатели смогут воспринимать музыку четко. Использование оценок четкости, возможно, позволит внедрять изменения в обработку звука, положительно влияющие на восприятие речи и музыки.

Восприятие музыки и занятия музыкой у детей

Пока еще проведено мало исследований, посвященных способности детей к восприятию музыки с помощью КИ. Тара Вонгпайсал, аспирант Торонтского университета в Канаде, подготовила сообщение о серии таких исследований, в которых приняли участие 10 детей и подростков с КИ и десять их сверстников с нормальным слухом в качестве контрольной группы. Первое исследование было посвящено распознаванию знакомой популярной песни в трех разных акустических условиях: оригинальная запись, оригинальная запись минус текст (в виде караоке), и исполнение мелодии на пианино. Дети с нормальным слухом и дети с КИ показали одинаковые результаты, слушая оригинал, но в отсутствие текста результаты детей с КИ ухудшились; они понизились еще больше, когда их попросили узнать песню, сыгранную на пианино. В то же время дети с нормальным слухом продолжали демонстрировать превосходные результаты.

Во время повторных исследований измерялась способность детей слышать разницу высоты последовательно предъявляемых звуков. В монотонной последовательности дети могли определить изменение высоты величиной от одного  до двух полутонов, но их результаты ухудшились по сравнению с нормально слышащими детьми, когда тона начали последовательно меняться, а их просили определить, одинаковые или разные две предъявленные последовательности. В этих условиях детям с КИ было трудно обнаружить изменение на полтона. В других условиях от детей требовалось повторить спетый текст знакомой песни с музыкальным аккомпанементом или без него. Текст существенно изменялся, и гармонические структуры тоже отличались от текста песни. Дети с КИ правильно повторили 19% слов, в то время как контрольная группа их нормально слышащих сверстников показала результат 90%.

Заключительные исследования оценивали, могут ли глухие от рождения дети с КИ воспроизвести относительную высоту и хронометраж песенных звуков. В число испытуемых входили 12 детей с КИ и 6 детей с нормальным слухом, японцы по национальности. Дети с КИ спели ритм песни почти так же, как и дети с нормальным слухом, но общий высотный диапазон у них оказался сжатым, и высотный рисунок не соответствовал оригиналу.

Восприятие промежуточных высот и Модифицированный мелодический тест восприятия высоты

Бретт Свонсон, инженер корпорации Cochlear (Сидней) описал исследования восприятия промежуточных высот у детей с КИ, пользующихся стратегией кодирования звука АСЕ. Перекрывающиеся фильтры, которые используются в звуковом процессоре Nucleus, создают разную частоту стимуляции на смежных электродах при изменении основной частоты. Это может привести к восприятию другой, промежуточной высоты при последовательной стимуляции. Несмотря на разброс данных, зависящий от стимулируемых электродов, Свонсон показал, что владельцы КИ могут точно оценивать промежуточные высоты, которые отличаются от основной высоты на 4–6 полутонов. Он объяснил полученные результаты, скомбинировав амплитудную модель с моделью громкости МакКея. Свонсон также разработал Модифицированный мелодический тест,  который оценивает высоту при узнавании знакомых мелодий, противопоставляя ее вариации тембра. В каждом испытании мелодия предлагалась дважды, один раз правильно, а другой раз с измененной высотой (растянутой или сжатой). Задача заключалась в том, чтобы правильно узнать мелодию. Предварительные результаты для пациентов с бимодальной стимуляцией, как при пользовании только КИ, так и в бимодальном режиме со СА показали, что использование второго КИ значительно улучшает правильное распознавание мелодии.

Временные и пространственные аспекты высотного музыкального интервала

Как д-р Сипке Пиджл (Ванкувер, Канада), так и д-р Фан Ган Зан (Калифорнийский университет, Ирвин) обсуждали относительное значение места и скорости стимуляции в распознавании высотного музыкального интервала или мелодии пользователями КИ. Работа Пиджла показала, что скорость изменения высоты достаточна для восприятия музыкального интервала, хотя и ограничена нижней частью высотного музыкального диапазона. Но полученные им данные не позволили однозначно определить, хватает ли сдвига места стимуляции вдоль электродной решетки для восприятия интервала. Он пришел к выводу, что временная и пространственная высотная информация, возможно, должна быть ковариантной и конгруэнтной, чтобы передавать основные музыкальные высоты для распознавания мелодии. Зан обнаружил, что восприятие высоты зависит от частоты повторения импульсов,  причем результаты улучшаются при более высокой частоте, в отличие от низкой. Пиджл высказал предположение о том, что если частота и место стимуляции подвержены непрерывным динамичным изменениям, то восприятие высоты и узнавание мелодии дополнительно улучшаются. Зан также отметил, что акустический слух вносит основной вклад в распознавание мелодии у пользователей бимодальных слуховых средств, так как тонкая низкочастотная структура звука сохраняется.

Опыт музыканта, пользователя КИ

Ричард Рид, музыкант и пользователь КИ Nucleus 24 Contour с процессором Freedom, поведал историю своей жизни. Он рассказал о том, как вновь нашел себя в музыке после того, как внезапно потерял слух, а затем получил КИ. С помощью музыкальных записей на компьютере он представил аудитории свой первый опыт восприятия окружающих звуков, и продемонстрировал, как разные виды музыки звучали при передаче посредством импланта и менялись с течением времени. Набравшись терпения, после длительной практики Ричард вновь наслаждается прослушиванием музыки и играет в профессиональном ансамбле.

Исследования при бимодальной стимуляции

Д-р Дьюи Лоусон (исследовательский институт в Северной Каролине) и д-р Михал Лунц (Хайфа, Израиль) посвятили свои презентации разным аспектам бимодального слуха. Лоусон изучал двух пользователей КИ, которые были имплантированы с целью лечения тиннитуса (нормальный слух в одном ухе и имплант фирмы Med-El в другом). Он представил данные об изменении высоты вдоль электродной решетки. Испытуемые должны были совместить частоту и громкость синтезированных акустических тонов с высотой и громкостью электрических стимулов вдоль электродной решетки. У одного испытуемого не было обнаружено изменений высоты вдоль электродной решетки, в то время как второй испытуемый продемонстрировал линейное возрастание высоты, при этом акустическая частота отображалась по логарифмической шкале. Д-р Лунц обобщил результаты нескольких исследований распознавания речи в шуме для взрослых и детей, пользующихся бимодальными слуховыми средствами. Его данные показали, что определенное понимание речи в шуме с помощью одного только импланта необходимо для того, чтобы получить дополнительную пользу от СА на противоположном ухе. Анализируя данные с течением времени, он обнаружил максимальную разницу между бимодальным режимом и слухом только через КИ через 18 месяцев после подключения. Это говорит о том, что владельцам КИ нужен практический опыт, чтобы научиться сочетать акустическую и электрическую слуховую информацию.

Сенсорные моторные аспекты восприятия музыки

Д-р Дэвид Вессел (Калифорнийский университет, Беркли) интересуется тем, как сенсорные моторные действия влияют на развитие музыкального восприятия. Исследования в области зрительных ощущений показали важность активного взаимодействия с окружающей средой для развития способностей к восприятию. Вессел изучает то, как нужно настраивать музыкальные инструменты, чтобы позволить пользователям имплантов самим создавать музыку и непосредственно с ней взаимодействовать. Возможно, это будет развивать их навыки слухового восприятия. В свою очередь, улучшение навыков восприятия может привести к хорошему качеству прослушивания музыки.

Информация к размышлению после симпозиума

На основании результатов исследований, представленных на симпозиуме, были сделаны следующие основные выводы:

1. Усовершенствования обработки сигнала и конструкции электродной решетки могут улучшать восприятие музыки и удовольствие от ее прослушивания.
2. Углубленное понимание основных психофизических способностей, лежащих в основе восприятия музыки, может привести к усовершенствованию обучающих средств и методов, предназначенных для развития восприятия музыки и ее оценки.
3. Даже небольшая доля акустического слуха может улучшить восприятие и оценку музыки. Поэтому важно создать электродные решетки и операционный инструментарий, которые будут сохранять остаточный слух.
4. Ритмические аспекты музыки относительно хорошо передаются с помощью современной технологии КИ. Но для того, чтобы улучшить восприятие музыки и общее восприятие качества звучания, требуются дальнейшие исследования передачи точной спектральной информации.
5. Творческие методы обучения, помогающие владельцам имплантов выбирать музыку для тренинга и активно с ней взаимодействовать, могут улучшить процесс обучения музыке, ее восприятие и удовольствие от ее прослушивания.

Музыка и КИ: Европейские исследования

Михаэль Бюхлер из отделения экспериментальной аудиологии при университетском госпитале Цюриха (Швейцария) участвовал в целом ряде исследований, посвященных восприятию музыки с помощью КИ. Он представил их первые результаты на Вступительном симпозиуме по восприятию музыки с помощью КИ 2006 года. Далее приведен отчет о научной работе, изучавшей влияние бимодальной стимуляции на восприятие музыки у пользователей КИ. В этом разделе также описывается воздействие меняющегося динамического диапазона, который предлагает ADRO (адаптивная оптимизация динамического диапазона) – система обработки сигнала, используемая в Nucleus Freedom.

Бимодальная стимуляция и восприятие музыки

Многие пользователи КИ имеют остаточный слух и используют слуховые аппараты в дополнение к своему КИ, в частности на противоположном ухе. Хотя ФУНГ и отсутствие спектральной резкости, свойственные сильной потере слуха, могут существенно искажать сигнал, использование СА все же дает доступ к некоторой полезной низкочастотной информации. То есть во многих случаях бимодальная стимуляция улучшает восприятие звука, независимо от того, в каком ухе происходит акустический слух – в имплантированном или в противоположном. Это подтверждают результаты исследований.

Конг измерил распознавание речи и мелодии у одной и той же группы испытуемых и нашел, что при понимании мелодии низкочастотный акустический слух позволяет добиться гораздо лучших показателей, чем электрический слух через КИ. При  понимании речи результаты оказались прямо противоположны.

Десять пользователей КИ, носивших СА на противоположном ухе, участвовали в исследованиях Цюрихского университета. Пятеро из них имели музыкальный опыт, в то время как другие пять человек этого опыта не имели. Длительность использования КИ составляла от шести месяцев до пяти лет. Тесты проводились в условиях бимодального стимулирования и в условиях работы одного КИ. Опытная версия серии тестов MACarena (смотри ниже) содержала тест на узнавание мелодии, который впоследствии был заменен тестом гармония/диссонанс.

Тестовый материал

Совместно с отделением отоларингологии Цюрихского университета был разработан музыкальный тест, использующий параметры проведения компьютеризованных речевых тестов MACarena, тоже созданных в университетском госпитале Цюриха. Алгоритм MACarena содержит унифицированный пользовательский интерфейс и ряд гибких шаблонов, на основе которых можно разработать и внедрить серию тестов. Предварительно записанный тестовый материал сохраняется в формате wav, его можно воспроизвести на любом компьютере со звуковой картой, работающем в системе Windows. Записанный материал позволяет точно представить тестовый материал во время первого и всех последующих тестовых сеансов, при этом воспроизведение через звуковую карту компьютера исключает необходимость в дополнительном оборудовании (магнитофон или CD-плеер). Элементы, выбранные из каждого тестового списка, могут автоматически располагаться в случайном порядке, чтобы сократить до минимума любой эффект запоминания, который может возникнуть у испытуемого. Тестовый материал предоставляется отдельно, содержит воспроизводимые звуки (файлы с расширением wav) и варианты ответов (кнопки с надписями). Такое структурное разделение материала позволяет изменять тесты MACarena соответственно индивидуальным потребностям (тестовый материал на разных языках, музыкальные произведения и т.д.).

Объективный музыкальный тест складывался из трех компонентов:

• Тест музыкальных характеристик. Распознавание различных высоты, ритма, гармонии/диссонанса, основанно на серии тестов Шупперта. Гармонический тест создан Институтом исследований звука и вибрации при Саутгемптонском университете (Великобритания).
• Определение вида инструмента (т.е. тембра). Испытуемых просят определить вид инструмента, предъявляя им запись сольной игры одного из восьми инструментов (медные духовые, деревянные духовые, скрипичные, ударные). Авторы теста Гфеллер и Лансинг.

Распознавание песен (на основе теста Шупперта). Из списка 50 общеизвестных песен, сыгранных на пианино без аккордов, испытуемый должен узнать не менее 18 песен. Было создано три подсписка, которые предъявлялись на каждом сеансе в трех разных условиях. Правильным ответом считалось название песни, повторение части текста или напевание мелодии.

В дополнение к тесту музыкальных характеристик и тестам на определение инструмента и песни, испытуемых попросили заполнить анкету и дать ответы на такие вопросы, как наличие музыкального образования и опыта, слуховые привычки до и после имплантации, предпочтительные виды музыки и ее носителей и удовольствие от музыки, получаемое с помощью одного КИ, одного СА и СА+КИ одновременно. Усредненные результаты определения высоты, определения мелодии, ритмического теста и узнавания инструмента представлены на иллюстрации 1.

Иллюстрация 1. Усредненные результаты исследований бимодального восприятия музыки. Уровень распознавания для высоты, мелодии и ритма составлял 50%, для определения инструмента – 25%.

Большинство испытуемых продемонстрировали не слишком хорошие результаты определения высоты и мелодии с помощью одного КИ, зато в условиях бимодальной стимуляции у некоторых испытуемых результаты улучшились. Показатели определения мелодии остались на уровне, определенном для всех условий. Восприятие ритма для большинства испытуемых оказалось высоким уже при применении одного КИ и существенно не изменилось при бимодальной стимуляции. Не удалось добиться заметного улучшения восприятия ритма и при использовании одного слухового аппарата.

Окончание статьи читайте тут>>>

Примечание. Отсутствие уточнений означает, что результаты исследований распространяются на кохлеарные импланты сразу трех производителей (Cochlear Limited, Med-El, Advanced Bionics). Кроме того, представленные данные не относятся к бинауральным владельцам кохлеарных имплантов.