Найти аудио по звуку: Как найти песню по звуку онлайн (кто исполнитель)

Машинное обучение в Hum to Search от Google / Хабр

Навязчивые мелодии (англ. earworms) – хорошо известное и порой раздражающее явление. Как только одна из таких застревает в голове, избавиться от нее бывает довольно трудно. Исследования показали, что так называемое взаимодействие с оригинальной композицией, будь то ее прослушивание или пропевание, помогает прогнать навязчивую мелодию. Но что, если вы не можете вспомнить название песни, а можете только напеть мотив?

При использовании существующих методов сравнения напетой мелодии с ее исходной полифонической студийной записью возникает ряд сложностей. Звук концертной или студийной записи с текстом, бэк-вокалом и инструментами может сильно отличаться от того, что напевает человек. Кроме того, по ошибке или по задумке в нашей версии могут быть не совсем те высота, тональность, темп или ритм. Вот почему так много текущих подходов, применяемых к системе query by humming, сопоставляют напетую мелодию с базой данных уже существующих мелодий или других напетых версий этой песни вместо того, чтобы идентифицировать ее напрямую.

Однако этот тип подходов часто основан на ограниченной базе данных, требующей обновления вручную.

Запущенная в октябре функция Hum to Search представляет собой новую полностью машинно-обучаемую систему Google Search, которая позволяет человеку найти песню, если он сам споет или «промычит» ее. В отличие от существующих методов, этот подход создает эмбеддинг из спектрограммы песни, минуя промежуточное представление. Это позволяет модели сравнивать нашу мелодию непосредственно с исходной (полифонической) записью без необходимости иметь другую напевку или MIDI-версию каждого трека. Также не требуется использовать сложную созданную вручную логику для извлечения мелодии. Такой подход значительно упрощает базу данных для Hum to Search, позволяя постоянно добавлять в нее эмбеддинги оригинальных треков со всего мира, даже самые последние релизы.

Как это работает

Многие существующие системы распознавания музыки перед обработкой аудиосэмпла преобразуют его в спектрограмму, чтобы найти более правильное совпадение. Однако есть одна проблема в распознавании напетой мелодии – она зачастую содержит относительно мало информации, как в этом примере песни «Bella Ciao». Разницу между напетой версией и тем же сегментом из соответствующей студийной записи можно визуализировать с помощью спектрограмм, показанных ниже:

Визуализация напетого отрывка и его студийной записи

Учитывая изображение слева, модель должна найти аудио, соответствующее правому изображению, в коллекции из более чем 50 миллионов похожих изображений (соответствующих сегментам студийных записей других песен). Для этого модель должна научиться фокусироваться на доминирующей мелодии и игнорировать бэк-вокал, инструменты и тембр голоса, а также различия, возникающие из-за фонового шума или реверберации. Чтобы на глаз определить доминирующую мелодию, которая могла бы использоваться для сопоставления этих двух спектрограмм, вы можете поискать сходство в линиях в нижней части приведенных изображений.

Предыдущие попытки реализовать распознавание музыки, в частности звучащей в кафе или клубах, продемонстрировали, как к этой проблеме может быть применено машинное обучение. Now Playing, выпущенный в 2017 году для телефонов Pixel, использует встроенную глубокую нейросеть для распознавания песен без необходимости подключения к серверу, а Sound Search, позже разработавший эту технологию, использует ее для распознавания на базе сервера для быстрого и точного поиска более 100 миллионов песен. Нам же было необходимо применить изученное в этих релизах для распознавания музыки из аналогично большой библиотеки, но уже по напетым отрывкам.

Настраиваем машинное обучение

Первым шагом в развитии Hum to Search было изменение моделей распознавания музыки, используемых в Now Playing и Sound Search, для работы с записями напевок. В принципе, многие подобные поисковые системы (например, распознавание изображений) работают аналогичным образом. В процессе обучения нейронная сеть получает на вход пару (напевку и исходную запись) и создает их эмбеддинги, которые позже будут использоваться для сопоставления с напетой мелодией.

Настройка обучения нейронной сети

Чтобы обеспечить распознавание того, что мы напели, эмбеддинги пар аудио с одной и той же мелодией должны быть расположены рядом друг с другом, даже если у них разный инструментальный аккомпанемент и певческие голоса. Пары аудио, содержащие разные мелодии, должны находиться далеко друг от друга. В процессе обучения сеть получает такие пары аудио до тех пор, пока не научится создавать эмбеддинги с этим свойством.

В конечном итоге обученная модель сможет генерировать для наших мелодий эмбеддинги, похожие на эмбеддинги эталонных записей песен. В этом случае поиск нужной песни – это всего лишь вопрос поиска в базе похожих эмбеддингов, рассчитанных на основе аудиозаписей популярной музыки.

Данные для обучения

Поскольку для обучения модели требовались пары песен (записанные и спетые), первой задачей было получить достаточно данных. Наш исходный набор данных состоял в основном из спетых фрагментов (очень немногие из них содержали просто напев мотива без слов). Чтобы сделать модель более надежной, во время обучения мы применили аугментацию к этим фрагментам: изменяли высоту тона и темп в случайном порядке. Получившаяся модель работала достаточно хорошо для примеров, где песню именно спели, а не промычали или просвистели.

Для улучшения работы модели на мелодиях без слов мы сгенерировали дополнительные тренировочные данные с искусственным «мычанием» из существующего набора аудиоданных. Для этого мы использовали SPICE, модель извлечения высоты тона, разработанную нашей расширенной командой в рамках проекта FreddieMeter. SPICE извлекает из заданного аудио значения высоты, которые мы затем используем для генерации мелодии, состоящей из дискретных звуковых тонов. Самая первая версия этой системы трансформировала данный оригинальный отрывок вот в это.

Генерация «мычания» из спетого аудиофрагмента

Позже мы усовершенствовали подход, заменив простой генератор тона на нейросеть, которая генерирует звук, напоминающий настоящий напев мотива без слов. Например, представленный выше фрагмент можно преобразовать в такое «мычание» или насвистывание.

На последнем шаге мы сравнили обучающие данные, смешав и сопоставив аудиофрагменты. Когда, например, нам встречались похожие фрагменты от двух разных исполнителей, мы выравнивали их с помощью наших предварительных моделей и, следовательно, предоставляли модели дополнительную пару аудиофрагментов той же мелодии.

Улучшаем модель

Обучая модель Hum to Search, мы начали с функции triplet loss, которая отлично себя показала в различных задачах классификации, таких как классификация изображений и записанной музыки. Если дана пара аудио, соответствующая одной и той же мелодии (точки R и P в пространстве эмбеддингов, показанном ниже), функции triplet loss игнорирует определенные части обучающих данных, полученных из другой мелодии. Это помогает улучшить поведение при обучении когда модель находит другую мелодию, которая слишком простая и уже далеко от R и P (см. точку E). А также, когда она чересчур сложная для текущего этапа обучения модели и оказывается слишком близкой к R (см. точку H).

Примеры аудиосегментов, визуализированных как точки в прострастве

Мы обнаружили, что можем повысить точность модели, приняв во внимание дополнительные обучающие данные (точки H и E), а именно, сформулировав общее понятие уверенности модели на серии примеров: насколько модель уверена, что все данные, с которыми она работала, можно классифицировать правильно? Или ей встречались примеры, которые не соответствуют ее нынешнему пониманию? Основываясь на этом, мы добавили функцию потери, которая приближает уверенность модели к 100% во всех областях пространства эмбеддингов, что привело к повышению качества и точности запоминания нашей модели.

Вышеупомянутые изменения, в частности аугментация и комбинация обучающих данных, позволили модели нейросети, используемой в поиске Google, распознавать напетые мелодии. Текущая система достигает высокого уровня точности на базе данных из более полумиллиона песен, которые мы постоянно обновляем. Этой коллекции треков есть куда расти: в нее предстоит включить еще больше музыки со всего света.

Чтобы потестить эту фичу, откройте последнюю версию приложения Google, нажмите на иконку микрофона и скажите «What’s this song» или кликните на «Найти песню». Теперь можете напеть или насвистеть мелодию! Надеемся, Hum to Search поможет избавиться от навязчивых мелодий или же просто найти и послушать какой-то трек, не вводя его название.

Поиск — Spotify

Находите все, что нужно, в разделе Поиск:

• Композиции
• альбомы;
• Для исполнителей
• Плейлисты
• Подкасты
• Жанры
• Настроения
• профили.

Вы также можете искать радио и концерты.

Поиск по тексту

Если вы не знаете название трека, введите в строку поиска хотя бы три слова из его текста. Подходящие результаты появятся с пометкой Совпадение в тексте.

Расширенный поиск

Чтобы найти точные совпадения, введите поисковый запрос в кавычках «» (например, «Давай потанцуем»).

Ниже перечислены параметры, которые также позволят вам ограничить поиск определенными условиями.

Тег поиска	Пример	Описание
year:	year:1969 year:1978-1984	Будет показана музыка за указанный год или период.
genre:	genre:rock	Будут найдены треки в интересующем вас жанре.
label:	label:domino	Будут показаны композиции, выпущенные указанным лейблом.

Добавление и исключение условий

Чтобы уточнить результаты поиска, используйте операторы AND и NOT.

• По запросу Kyuss AND Green будет найден контент с ключевыми словами Kyuss и Green.
• По запросу Metallica NOT Anger будут показаны все треки группы Metallica, кроме тех, в названии которых есть слово anger.

Подсказка. Вместо операторов AND и NOT можно также пользоваться знаками + и — соответственно.

Объединение параметров поиска

Если вы точно знаете, что хотите найти, используйте перечисленные параметры вместе. Примеры показаны ниже.

• Чтобы найти треки за определенный период, но исключить какой-то промежуток времени, введите year:1989-2013 NOT year:1993.
• Чтобы найти музыку по жанру и году, используйте запрос genre:metal AND year:1982.

Добавление стоковой музыки и аудио

Clipchamp работает с поставщиками высококачественных стоковых медиа, предлагая тысячи стоковых видео, графики, изображений, аудио и фонов.

В этой статье речь пойдет о стандартном аудио и музыке.

Если вы пользуетесь бесплатным планом

F , вы сможете добавлять стандартное аудио в свои проекты, но только если вы не выберете бесплатные файлы (нажмите на коллекцию «бесплатно навсегда» в библиотеке, чтобы увидеть варианты) , их будет с водяным знаком и голосом, говорящим «Clipchamp».

Чтобы удалить водяные знаки, вы можете обновить до плана Essentials. Планы включают ежемесячную или годовую абонентскую плату.

ПРИМЕЧАНИЕ: вы всегда можете добавить свои аудиофайлы в свой проект бесплатно без каких-либо водяных знаков.

Шаг 1. Нажмите кнопку «Музыка и звуковые эффекты»

Нажмите кнопку «Музыка и звуковые эффекты» на левой боковой панели.

Шаг 2. Поиск в аудиобиблиотеке

Выполните поиск в библиотеке аудиозаписей, прокручивая популярные категории аудио и нажимая стрелку «Показать больше». Вы также можете выполнять поиск в аудиобиблиотеке по ключевым словам.

Для предварительного просмотра аудиофайла нажмите кнопку воспроизведения.

Шаг 3. Добавьте аудиофайл на временную шкалу

Добавить песню в видео можно тремя способами.

Перетащите аудиофайл на временную шкалу.

Или нажмите на зеленую кнопку +.

Вы также можете щелкнуть звуковую дорожку, чтобы просмотреть дополнительные параметры. Здесь вы можете добавить звук на вкладку мультимедиа, добавить на временную шкалу, предварительно просмотреть всю песню или найти похожие параметры звука.

Шаг 4. Отредактируйте аудио

Как только аудиофайл появится на вашей временной шкале, вы сможете отредактировать дорожку. Чтобы обрезать аудиофайл, нажмите на зеленые боковые панели и перетащите их влево и вправо.

Чтобы отредактировать громкость звука, щелкните вкладку «Аудио» на правой панели свойств. Используйте ползунок, чтобы увеличить или уменьшить громкость.

Вы также можете изменить скорость звуковой дорожки, щелкнув вкладку скорости на правой панели свойств. Переместите ползунок влево и вправо, чтобы увеличить или уменьшить скорость. Или введите точное число.

Наконец, нажмите на вкладку постепенного изменения на правой панели свойств, если вы хотите, чтобы звук появлялся и исчезал. Переместите ползунок влево и вправо, чтобы увеличить или уменьшить затухание.

Экспорт видео со стоковым звуком

Если вы экспортируете видео со стандартным звуком без водяного знака, вам потребуется перейти на план Essentials.

Теперь вы можете выбрать:

ИЛИ

Если вы решили перейти на план, выберите желаемую периодичность выставления счетов (ежемесячно или ежегодно) перед оплатой.

Если ваше стандартное аудио можно использовать бесплатно, просто нажмите кнопку экспорта, выберите разрешение видео и сохраните видео.

Попробуйте

Отправляйтесь в Clipchamp и попробуйте сами.

Как найти песни для ваших роликов с помощью вкладки «Аудио» в Instagram

Instagram упрощает поиск идеального трека для ваших роликов благодаря вкладке «Аудио». В приложении, принадлежащем Facebook, есть целая вкладка поиска, посвященная аудиоконтенту. Эта вкладка облегчает создателям поиск идеальной песни или аудиоконтента для их контента в Instagram.

После успеха роликов и историй Instagram из-за их аудиовизуального характера в августе 2021 года Instagram добавил вкладку для поиска и поиска аудиодорожек на своей странице «Обзор».

В этой статье будет обсуждаться, о чем эта функция, и объясняется как использовать его, чтобы найти идеальный звук для ваших роликов в Instagram.

Найдите свои любимые треки с помощью вкладки «Аудио» на странице «Обзор»

Инструмент поиска аудио в Instagram позволяет искать песни и аудио в приложении Instagram по ключевым словам. Когда вы нажмете на песню, Instagram покажет вам барабаны, в которых есть семплы этого звука.

Это может помочь вам решить, подходит ли эта конкретная песня для типа ролика, в который вы хотите ее включить. Это позволяет вам увидеть последние популярные ролики, использующие эту песню, что может послужить источником вдохновения. Кроме того, это дает вам возможность показать ваш ролик более широкой аудитории, если вы решите воспользоваться этой тенденцией, используя эту песню таким же образом.

Не можете найти то, что ищете, в разделе Исследовать? Узнайте, как изменить страницу Instagram Explore, чтобы она больше соответствовала вашим интересам.

В июле 2021 года глава Instagram Адам Моссери заявил в видео, что платформа больше не является приложением для обмена видео, добавив, что Instagram работает над расширением приложения с более разнообразными функциями.

Мы также собираемся поэкспериментировать с более широким охватом видео: полноэкранным, иммерсивным, развлекательным, ориентированным на мобильные устройства. Вы увидите, как мы делаем ряд вещей или экспериментируем с рядом вещей в этом пространстве в ближайшие месяцы.

Инструмент поиска аудио в Instagram — это еще один способ, с помощью которого Instagram упрощает для создателей и пользователей взаимодействие с музыкой таким образом, чтобы улучшить их опыт работы на платформе и одновременно создавать высококачественные ролики для своей аудитории.

Например, в мае 2021 года Instagram начал предоставлять информацию о роликах и живом контенте, чтобы помочь создателям получить максимальную отдачу от приложения.

Как искать аудио в Instagram

3 Изображения

Пользоваться вкладкой поиска аудио в Instagram так же просто, как искать что-либо еще в Instagram. Эта функция похожа на вкладку «Звуки» в TikTok, что может сигнализировать о том, что Instagram хочет завоевать рынок коротких видео, который так хорошо захватил TikTok.

Выполните следующие действия, чтобы начать использовать вкладку «Аудио» для поиска аудио в Instagram:

1. Запустите приложение Instagram.
2. Коснитесь значка поиска в левом нижнем углу экрана.
3. Коснитесь строка поиска в верхней части экрана, введите название песни или исполнителя и нажмите клавишу Enter . Откроется страница поиска с различными вкладками, при этом вкладка Top будет выбрана автоматически. Результаты поиска будут перечислены ниже.
4. Теперь выберите вкладку Аудио между вкладками Аккаунты и Теги .
5. Наконец, выберите из предложенного списка песню или исполнителя, которого вы ищете.

Недовольны результатами поиска? Вот почему результаты поиска в Instagram отстой и почему они должны улучшиться.

Instagram совершенствует свое приложение для художников и авторов качественный, привлекающий внимание и вовлекающий контент.

Приложение улучшает поддержку авторов, добавляя дополнительные функции в Instagram и реализуя способы, помогающие авторам зарабатывать больше денег.