Распознавание мелодии: Распознавание треков — Мобильная Яндекс Музыка. Справка — Магазин Apple iPhone в Перми

Содержание

Владение тоновым языком облегчило распознавание мелодий

Родной язык влияет на восприятие музыки: владение тональным языком способствует лучшему различению похожих мелодий, а владение нетональным языком помогает лучше распознавать ритм. Результаты метаанализа 20 исследований и эксперимента с 459066 участниками опубликованы в Current Biology.

Тональные (тоновые) языки, распространенные в Юго-Восточной Азии (например, китайский или вьетнамский), отличаются использованием высоты звука для указания смысла слова. В таких языках как русский или английский могут использоваться интонации, но, в отличие от тональных языков, интонации распространяются на большой отрезок предложения, а не показывают значение одного конкретного слова. Прошлые исследования показывают, что язык имеет большое влияние на мышление и восприятие: от социальных норм и стереотипов до зрительного восприятия предметов. Однако изучение того, насколько родной язык связан со способностью воспринимать музыку, пока дает противоречивые результаты.

Исследователи из Новый Зеландии и США под руководством Цзинсюань Ли (Jingxuan Li) из бизнес-школы Колумбийского университета решили проверить, влияет ли владение тоновым языком на обработку и восприятие музыки. Для этого авторы провели метаанализ 20 прошлых исследований, а затем провели собственный эксперимент, в котором приняло участие 459066 человек.

На первом этапе авторы сгруппировали проведенные ранее исследования влияния языка на обработку музыки, выделив как категории мелодию, высоту голоса и ритм. Для каждой категории они провели метаанализ. Размер эффекта показал преимущество носителей тоновых языков в различении схожих мелодий. Других отличий авторы не обнаружили, однако отметили, что большинство людей в выборках владели самыми распространенными языками (китайский, английский), а значит результаты нельзя распространить на другие языки. Кроме того, выборки были достаточно маленькими, что не дает делать значимые выводы.

Во втором этапе исследователи провели эксперимент, собрав данные людей из 203 стран и получив информацию по 19 тональным языкам, 6 языкам с музыкальным ударением и 29 нетональным языкам.

Участники проходили три задания, которые измеряли способность различать похожие мелодии, находить несоответствие вокала музыке и рассинхронизацию между клик-треком и песней.

Анализ выявил преимущество носителей тоновых языков в способности различать схожие мелодии (p < 0,001). Это подтвердило результаты метаанализа и показало, что разница сохраняется и при сравнении других языков, помимо китайского и английского. Различий же в восприятии вокала авторы не обнаружили. В свою очередь, носители нетональных языков лучше улавливали несоответствие клик-трека песне. Метаанализ таких различий не выявил.

Таким образом, учтя недостатки прошлых исследований, такие как маленькая выборка и малое количество языков для сравнения, авторы показали, что язык действительно влияет на восприятие музыки: носители тоновых языков лучше различают мелодии, но хуже распознают ритм.

Исследователи изучают и то, как иностранный язык влияет на мышление. Так, американские психологи обнаружили, что использование иностранного языка снижает эмоциональность при решении этических проблем. А другая группа психологов показала, что если размышления на неродном языке заставляют людей фокусироваться на последствиях поступков окружающих, а не на их намерениях.

Лингвистика Психология Звук

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.

Распознавание мелодии путем изучения языка тела музыканта / Хабр

Перевод статьи подготовлен в преддверии старта нового набора на курс «Computer vision».

Инструмент распознавания музыкальных жестов на основе искусственного интеллекта, разработанный в MIT-IBM Watson AI Lab, использует движения тела, чтобы различать звуки отдельных музыкальных инструментов.

Image courtesy of the researchers.

Исследователи используют данные о ключевых точках скелета, чтобы сопоставлять движения музыкантов с темпом их партии, что позволяет слушателям изолировать инструменты с одинаковым звучанием.

Изображение предоставлено исследователями.

Мы наслаждаемся музыкой не только ушами, но также и глазами, с признательностью наблюдая, как пальцы пианиста летают по клавишам, а смычок скрипача качается на гребне струн. Когда ухо не в состоянии разделить два музыкальных инструмента, нам помогают наши глаза, сопоставляя движения каждого музыканта с ритмом каждой партии.

Новый инструмент на основе искусственного интеллекта разработанный MIT-IBM Watson AI Lab использует виртуальные глаза и уши компьютера, чтобы отделить друг от друга звуки схожие настолько, что человеку сложно их дифференцировать. Инструмент улучшен относительно предыдущих итераций путем согласования движений отдельных музыкантов с помощью ключевых точек их скелета с темпом отдельных партий, что позволяет слушателям изолировать звучание отдельной флейты или скрипки среди нескольких таких же инструментов.

Возможные применения для работы варьируются от микширования звука и увеличения громкости инструмента в записи до уменьшения путаницы, которая заставляет людей перебивать друг друга во время видеоконференций. Работа будет представлена на конференции Computer Vision Pattern Recognition в этом месяце.

«Ключевые точки тела предоставляют мощную структурную информацию», — говорит ведущий автор исследования Чуанг Ган, исследователь в лаборатории IBM. «Мы используем их здесь, чтобы улучшить способность ИИ слушать и отделять звук».

В этом и других подобных проектах исследователи использовали синхронизированные аудио-видео треки, чтобы воссоздать способ обучения людей. Система искусственного интеллекта, которая обучается с помощью нескольких сенсорных модальностей, может учиться быстрее, с меньшим количеством данных и без необходимости вручную добавлять надоедливые ярлыки к каждому реальному представлению. «Мы учимся на основе всех наших органов чувств, — говорит Антонио Торральба, профессор MIT и соавтор исследования. «Мультисенсорная обработка — это предшественник воплощенного интеллекта и систем искусственного интеллекта, которые могут выполнять более сложные задачи».

Данный инструмент, который использует язык тела для разделения звуков, основан на более ранней работе, в которой сигналы движения использовались в последовательностях изображений.

Его самое раннее воплощение, PixelPlayer, позволял кликнуть по инструменту в концертном видео, чтобы сделать его громче или тише. Обновление PixelPlayer позволяет вам провести различие между двумя скрипками в дуэте путем сопоставления движений каждого музыканта с темпом их партии. Эта последняя версия добавляет данные о ключевых точках (которые используют спортивные аналитики для отслеживания результатов спортсменов, для извлечения более детализированных данных о движении), чтобы различать почти идентичные звуки.

Работа подчеркивает важность визуальных подсказок в обучении компьютеров, чтобы они могли лучше слышать, и использование звуковых подсказок, чтобы дать им более острое зрение. Точно так же, как текущее исследование использует визуальную информацию о движениях музыканта для разделения партий музыкальных инструментов с похожим звучанием, в предыдущей работе использовались звуки для разделения похожих объектов и животных одного вида.

Торральба и его коллеги показали, что модели глубокого обучения, обученные на парных аудио-видео данных, могут научиться распознавать естественные звуки, такие как пение птиц или удары волн о берег. Они также могут определять географические координаты движущегося автомобиля по звуку его двигателя и колес, движущихся к микрофону или от него.

Последнее исследование предполагает, что инструменты отслеживания звука могут быть полезным дополнением к беспилотным автомобилям, помогая их камерам в условиях плохой видимости. «Звуковые трекеры могут быть особенно полезны ночью или в плохую погоду, помогая отмечать автомобили, которые в противном случае могли бы быть пропущены», — говорит Ханг Чжао, доктор философии ’19, который участвовал в исследованиях касательно отслеживания движения и звука.

Другими авторами исследования музыкальных жестов CVPR являются Дэн Хуанг и Джошуа Тененбаум из MIT.

На этом все. Чтоб узнать о курсе подробнее, приглашаем вас записаться на день открытых дверей по ссылке ниже:

Как я научила свой компьютер играть в Доббль с помощью OpenCV и Deep Learning

Память узнавания текста и мелодии песен после одностороннего поражения височной доли: свидетельство двойного кодирования

1991 июль; 17 (4): 793-804.

doi: 10.1037//0278-7393.17.4.793.

С Самсон ¹ , R J Zatorre

принадлежность

¹ Монреальский неврологический институт и больница, Квебек, Канада.

PMID:
1832437
DOI: 10.1037//0278-7393.17.4.793

S Самсон и др. J Exp Psychol Learn Mem Cogn. 1991 июль

. 1991 июль; 17 (4): 793-804.

дои: 10.1037//0278-7393.17.4.793.

Авторы

С Самсон ¹ , Р. Дж. Заторре

принадлежность

¹ Монреальский неврологический институт и больница, Квебек, Канада.

PMID: 1832437
DOI: 10.1037//0278-7393.17.4.793

Абстрактный

Исследована роль левой и правой височных долей в памяти на песни (слова, исполняемые на мелодию). Пациенты, перенесшие фокальное иссечение головного мозга для купирования трудноизлечимой эпилепсии, вместе с нормальными субъектами контрольной группы были протестированы в 2 задачах распознавания памяти. Цель эксперимента 1 состояла в том, чтобы изучить узнавание слов и мелодий, когда они были представлены вместе в незнакомой песне. В эксперименте 2 память на произносимые слова и мелодии, спетые без слов, была независимо проверена в двух отдельных задачах на распознавание. Результаты ясно показали (а) дефицит после левой височной лобэктомии в распознавании текста, спетого на мелодию или произнесенного без музыкального сопровождения, (б) нарушение распознавания мелодии, когда мелодия пелась с новыми словами после левой или правой височной лобэктомии и ( в) нарушение узнавания мелодии при отсутствии текста после правосторонней, но не левой височной лобэктомии. Различная роль каждой височной доли в запоминании песен свидетельствует об использовании двойных кодов памяти. Вербальный код последовательно связан со структурами левой височной доли, в то время как мелодический код может зависеть от одного или обоих механизмов височной доли, в зависимости от используемого типа кодирования.

Цитируется

Нейроанатомические корреляты речи и пения при хронической постинсультной афазии.
Мартинес-Молина Н., Сипонкоски С.Т., Питкяниеми А., Моиссейнен Н., Куусела Л., Пеккола Й. , Лайтинен С., Сяркямё Э.Р., Мелкас С., Клебер Б., Шлауг Г., Сихвонен А., Сяркямё Т. Мартинес-Молина Н. и др. Мозговая коммуна. 2022 11 января; 4 (1): fcac001. doi: 10.1093/braincomms/fcac001. Электронная коллекция 2022. Мозговая коммуна. 2022. PMID: 35174327 Бесплатная статья ЧВК.
Когнитивные и нейронные механизмы, лежащие в основе мнемонического эффекта песен после инсульта.
Лео В., Сихвонен А.Я., Линнавалли Т., Терваниеми М., Лайне М., Сойнила С., Сяркямё Т. Лев В. и др. Нейроимидж клин. 2019;24:101948. doi: 10.1016/j.nicl.2019.101948. Epub 2019 5 августа. Нейроимидж клин. 2019. PMID: 31419766 Бесплатная статья ЧВК.
Сопряжение времени и частоты: полушарная специализация, акустическая неопределенность и усатая летучая мышь.
Вашингтон SD, Tillinghast JS. Вашингтон, Южная Дакота, и др. Фронтальные нейроски. 2015 27 апр; 9:143. doi: 10.3389/fnins.2015.00143. Электронная коллекция 2015. Фронтальные нейроски. 2015. PMID: 25926767 Бесплатная статья ЧВК.
Склероз гиппокампа влияет на fMR-адаптацию текстов и мелодий в песнях.
Алонсо И., Сэммлер Д., Валабрег Р., Динкелакер В., Дюпон С., Белин П., Самсон С. Алонсо I и др. Передний шум нейронов. 2014 27 февраля; 8:111. doi: 10.3389/fnhum.2014.00111. Электронная коллекция 2014. Передний шум нейронов. 2014. PMID: 24578688 Бесплатная статья ЧВК.
Скрытый ритм: почему пение не может быть ключом к выздоровлению от афазии.
Шталь Б., Коц С.А., Хенселер И., Тернер Р., Гейер С. Шталь Б. и др. Мозг. 2011 окт; 134 (часть 10): 3083-93. doi: 10.1093/brain/awr240. Epub 2011, 21 сентября. Мозг. 2011. PMID: 21948939 Бесплатная статья ЧВК.

Просмотреть все статьи «Цитируется по»

Типы публикаций

термины MeSH

9 0137

Сила звука и распознавание мелодии после длительных и коротких задержек

Скачать PDF

Опубликовано: июль 1991 г.

У. Джей Доулинг ¹

Восприятие и психофизика том 50 , страницы 305–313 (1991 г.)Процитировать эту статью

954 доступа
65 цитирований
Сведения о показателях

Abstract

В задании на непрерывную память испытуемые слышали новые мелодии из семи нот, которые тестировались после задержки в 11 секунд (пусто) или 39 секунд. сек (заполнено). Тестовые элементы были перенесены на новые уровни высоты тона (к умеренно удаленным тональностям в музыкальном смысле) и включали точные транспозиции (цели), приманки того же контура с измененными интервалами высоты тона и приманки с новым контуром. Мелодии различались по тональной силе (степени соответствия музыкальной тональности) и были тонально сильными, тонально слабыми или атональными. Ложные срабатывания приманок того же контура уменьшались в течение более длительного периода задержки, но только для тональных стимулов. В соответствии с предыдущими исследованиями, различение детальных изменений в интервалах основного тона улучшалось с увеличением задержки, тогда как различение более общей информации о контурах снижалось, опять же только для тональных стимулов. Эти результаты свидетельствуют о том, что плохая эффективность с короткой задержкой при отклонении приманок с одинаковым контуром возникает из-за путаницы, основанной на сходстве тональности между стандартными стимулами и приманками. Если тестовый образец имеет такой же контур и ту же тональность, что и только что представленный предмет, испытуемые, как правило, принимают его. После задержки, заполненной мелодиями в других тональностях, значимость ключевой информации снижается, и испытуемые основывают свои суждения на более подробной информации о паттернах (а именно, на точных интервалах основного тона). Тот факт, что тональность влияет на суждения о мелодическом контуре, указывает на то, что контур не является полностью отделимой чертой мелодии, а скорее на то, что мелодия со своим контуром составляет единое перцептивное целое.

Скачайте, чтобы прочитать полный текст статьи

Ссылки

Bartlett, J.C., &Dowling, W.J. (1980). Распознавание транспонированных мелодий: эффект ключевого расстояния в перспективе развития. Журнал экспериментальной психологии: человеческое восприятие и деятельность , 6 , 501–515.
Артикул Google Scholar
Бартлетт, Дж. К., и Даулинг, В. Дж. (1988). Строение лада и сходство мелодий. Восприятие музыки , 5 , 285–314.
Google Scholar
Браун, Х. (1988). Взаимодействие содержания установки и временного контекста в функциональной теории восприятия тональности. Восприятие музыки , 5 , 219–250.
Google Scholar
Батлер, Д. (1989). Описание восприятия тональности в музыке: критика теории тональной иерархии и предложение теории интервального соперничества. Восприятие музыки , 6 , 219–242.
Google Scholar
Батлер, Д. (1990). Ответ Кэрол Крумхансл. Восприятие музыки , 7 , 325–338.
Google Scholar
Батлер, Д. , и Браун, Х. (1984). Тональная структура по сравнению с функцией: исследования распознавания гармонического движения. Восприятие музыки , 2 , 5–24.
Google Scholar
Croonen, WLM, &Kop, PFM (1989). Тональность, тональная схема и контур при отсроченном распознавании последовательностей тонов. Восприятие музыки , 7 , 49–68.
Google Scholar
Кадди, Л.Л., Коэн, А.Дж., и Мьюхорт, Д.Дж.К. (1981). Восприятие структуры коротких мелодических последовательностей. Журнал экспериментальной психологии: человеческое восприятие и деятельность , 7 , 869–883.
Артикул Google Scholar
Кадди, Л.Л., Коэн, А.Дж., и Миллер, Дж. (1979). Распознавание мелодий: экспериментальное применение музыкальных правил. Canadian Journal of Psychology , 33 , 148–157.
ПабМед Google Scholar
Дойч, Д. (1969). Распознавание музыки. Психологический обзор , 76 , 300–307.
Артикул пабмед Google Scholar
ДеВитт, Л. А., и Краудер, Р. Г. (1986). Распознавание новых мелодий после коротких задержек. Восприятие музыки , 3 , 259–274.
Google Scholar
Доулинг, У. Дж. (1978). Масштаб и контур: два компонента теории памяти мелодий. Психологический обзор , 85 , 341–354.
Артикул Google Scholar
Доулинг, У. Дж. (1984). Музыкальный опыт и тональные гаммы в распознавании октавно-скремблированных мелодий. Психомузыкология , 4 , 13–32.
Google Scholar
Доулинг, У. Дж. (1986). Влияние контекста на распознавание мелодии: представление масштабного шага в сравнении с интервальным представлением. Восприятие музыки , 3 , 281–296.
Google Scholar
Доулинг, В.Дж., и Бартлетт, Дж.К. (1981). Важность интервальной информации в долговременной памяти для мелодий. Психомузыкология , 1 , 30–49.
Google Scholar
Доулинг, В.Дж., и Фуджитани, Д.С. (1971). Распознавание контура, интервала и высоты тона в памяти для мелодий. Журнал Акустического общества Америки , 49 , 524–531.
Артикул пабмед Google Scholar
Эдуорти, Дж. (1985) Мелодический контур и музыкальная структура. В П. Хауэлл, И. Кросс и Р. Уэст (ред.), Музыкальная структура и познание (стр. 169–188). Лондон: Академическая пресса.
Google Scholar
Гарнер, В. Р. (1974). Обработка информации и структура . Нью-Йорк: Уайли.
Google Scholar
Krumhansl, C.L. (1990a). Когнитивные основы музыкального слуха . Нью-Йорк: Издательство Оксфордского университета.
Google Scholar
Крумхансл, С.Л. (1990b). Тональные иерархии и редкие интервалы в музыкальном познании. Восприятие музыки , 7 , 309–324.
Google Scholar
Лердал, Ф. (1988). Тональное звуковысотное пространство. Восприятие музыки , 5 , 315–350.
Google Scholar
Пехстедт, П. Х., Кершнер, Дж., и Кинсбурн, М. (1989). Музыкальное обучение улучшает обработку тональности в левом полушарии. Восприятие музыки , 6 , 275–298.
Google Scholar
Шепард, Р.