Восстановить звук: Устранение проблем со звуком в Windows

Еще лет десять назад никто не знал, как звучит Александр Грэм Белл. Но прорыв произошел в 2013 году, когда исследователи из Смитсоновского института восстановили ранее «невоспроизводимую» запись ученого на вощено-картонном диске.

«Услышьте мой голос», — заявил Белл. Впервые после его смерти в 1922 года мир наконец смог прислушаться к его словам.

SmithsonianMag · Послушайте голос Александра Грэма Белла

Теперь Смитсоновский национальный музей американской истории объявил о новом проекте: восстановление сотен никогда ранее не слышанных звукозаписей, сделанных Беллом и его коллегами-исследователями между 1881 и 1892 годами. в лаборатории Вольта в Вашингтоне, округ Колумбия, и в собственности Белла в Баддеке, Новая Шотландия. Это одни из самых ранних звукозаписей в мире.

«В течение трех лет этого замечательного проекта «История слуха: восстановление звука из экспериментальных записей Александра Грэма Белла» мы впервые сохраним и сделаем доступными около 300 записей, которые более никем не слышанный», — говорится в заявлении Антеи М. Хартиг, директора музея Элизабет Макмиллан. Новая инициатива начнется осенью.

Белл родился в Шотландии в 1847 году и наиболее известен как изобретатель телефона. Он получил патент на свои методы 7 марта 1876 года. Несколько дней спустя он сделал свой первый телефонный звонок своему лаборанту: Ватсон, иди сюда. Я хочу тебя увидеть.»

За последние годы исследователи уже восстановили звук из 20 экспериментальных записей в лаборатории Вольта, включая единственную задокументированную запись голоса Белла. Новый проект будет сосредоточен на восстановлении остальной части коллекции.

Диски из картона и воска, созданные Беллом и его коллегами, которые будет переводить исследовательская группа, когда-то считались «немыми артефактами», как сказала Карлин Стивенс, куратор Национального музея американской истории.Шарлотта Грей из журнала Smithsonian в 2013 году. Она начала задаваться вопросом, «узнаем ли мы когда-нибудь, что на них было», поскольку подробности попыток Белла воспроизвести их были потеряны для истории.

Но благодаря кропотливой работе экспертов из музея, Национальной лаборатории Лоуренса Беркли и Библиотеки Конгресса была разработана новая методика прослушивания записей.

Команда использует компьютеры для создания цифрового сканирования канавок на восковом диске, удаляя любые царапины или повреждения, которые могут помешать попытке восстановления. Затем программное обеспечение следует за виртуальным стилусом, перемещающимся по канавкам виртуальной записи, воспроизводя звук в виде нового цифрового файла. Результат: раскрытие звука, который был недоступен более века.

Получайте последние новости в свой почтовый ящик каждый будний день.

Рекомендуемые видео

Извлечение аудио из визуальной информации | MIT News

Исследователи из Массачусетского технологического института, Microsoft и Adobe разработали алгоритм, который может реконструировать звуковой сигнал, анализируя мельчайшие вибрации объектов, изображенных на видео. В одной серии экспериментов им удалось восстановить разборчивую речь по вибрациям пакета с картофельными чипсами, сфотографированных с расстояния 15 футов через звуконепроницаемое стекло.

В других экспериментах они извлекали полезные аудиосигналы из видеороликов с алюминиевой фольгой, поверхностью стакана с водой и даже листьями растения в горшке. Исследователи представят свои выводы в статье на Siggraph, главной конференции по компьютерной графике в этом году.

«Когда звук попадает на объект, он заставляет объект вибрировать», — говорит Эйб Дэвис, аспирант электротехники и компьютерных наук Массачусетского технологического института и первый автор новой статьи. «Движение этой вибрации создает очень тонкий визуальный сигнал, который обычно невидим невооруженным глазом. Люди не понимали, что эта информация была там».

Вместе с Дэвисом над статьей Siggraph работают Фредо Дюран и Билл Фриман, профессора информатики и инженерии Массачусетского технологического института; Нил Вадва, аспирант группы Фримена; Майкл Рубинштейн из Microsoft Research, защитивший докторскую диссертацию вместе с Фрименом; и Гаутам Майсор из Adobe Research.

Для восстановления звука из видео требуется, чтобы частота выборки видео — количество кадров видео, снятых в секунду, — превышала частоту аудиосигнала. В некоторых своих экспериментах исследователи использовали высокоскоростную камеру, которая снимала от 2000 до 6000 кадров в секунду. Это намного быстрее, чем 60 кадров в секунду на некоторых смартфонах, но намного ниже частоты кадров лучших коммерческих высокоскоростных камер, которые могут достигать 100 000 кадров в секунду.

Товарное оборудование

Однако в других экспериментах они использовали обычную цифровую камеру. Из-за особенностей конструкции датчиков большинства камер исследователи смогли получить информацию о высокочастотных вибрациях даже из видео, записанного со стандартной частотой 60 кадров в секунду. Хотя эта звуковая реконструкция не была такой точной, как с высокоскоростной камерой
, она все же может быть достаточно хороша для определения пола говорящего в комнате; количество динамиков; и даже, имея достаточно точную информацию об акустических свойствах голосов говорящих, их личности.

Метод исследователей имеет очевидное применение в правоохранительных органах и криминалистике, но Дэвис с большим энтузиазмом относится к возможности того, что он описывает как «новый вид визуализации».

«Мы извлекаем звуки из объектов», — говорит он. «Это дает нам много информации о звуке, который происходит вокруг объекта, но также дает нам много информации о самом объекте, потому что разные объекты будут по-разному реагировать на звук». В текущей работе исследователи начали пытаться определить материальные и структурные свойства объектов по их видимой реакции на короткие всплески звука.

Посмотрите, как исследователи Массачусетского технологического института извлекают звук из вибраций растения, пакета с картофельными чипсами и других объектов.

В экспериментах, описанных в статье Siggraph, исследователи также измерили механические свойства объектов, которые они снимали, и определили, что движения, которые они измеряли, составляли около десятой доли микрометра. Это соответствует пяти тысячным пикселя на изображении крупным планом, но по изменению значения цвета одного пикселя с течением времени можно сделать вывод о движении размером меньше пикселя.

Предположим, например, что изображение имеет четкую границу между двумя областями: Все по одну сторону границы синее; на другом всё красное. Но на самой границе датчик камеры получает и красный, и синий свет, поэтому он усредняет их, чтобы получить фиолетовый. Если в последовательных кадрах видео синяя область вторгается в красную область — даже меньше, чем ширина пикселя — фиолетовый станет немного синее. Этот цветовой сдвиг содержит информацию о степени вторжения.

Собираем вместе

Однако некоторые границы в изображении более размыты, чем ширина одного пикселя. Поэтому исследователи позаимствовали технику из более ранней работы над алгоритмами, которые усиливают незначительные вариации в видео, делая видимыми ранее незаметные движения: дыхание младенца в неонатальном отделении больницы или пульс на запястье субъекта.

Этот метод пропускает последовательные кадры видео через батарею фильтров изображений, которые используются для измерения флуктуаций, таких как изменение значений цвета на границах, в нескольких разных ориентациях — например, горизонтальной, вертикальной и диагональной — и в нескольких разных масштабах. .

Исследователи разработали алгоритм, который объединяет выходные данные фильтров для определения движения объекта в целом, когда на него воздействуют звуковые волны. Разные края объекта могут двигаться в разных направлениях, поэтому алгоритм сначала выравнивает все измерения, чтобы они не компенсировали друг друга. И это придает больший вес измерениям, сделанным на очень четких краях — четких границах между различными цветовыми значениями.

Исследователи также разработали вариант алгоритма анализа обычного видео. Сенсор цифровой камеры состоит из множества фотодетекторов — их миллионы, даже в обычных устройствах. Как оказалось, менее затратно спроектировать оборудование датчика так, чтобы оно считывало измерения одного ряда фотодетекторов за раз. Обычно это не проблема, но с быстро движущимися объектами это может привести к странным визуальным артефактам. Объект — скажем, винт вертолета — может на самом деле заметно перемещаться между чтением одной строки и чтением следующего.

Для Дэвиса и его коллег эта ошибка является особенностью. Небольшие искажения краев объектов на обычном видео хотя и незаметны невооруженным глазом, но содержат информацию о высокочастотной вибрации объектов. И этой информации достаточно, чтобы получить мутный, но потенциально полезный звуковой сигнал.

«Это новое и освежающее. Это то, чем сейчас не занимается ни одна другая группа», — говорит Алексей Эфрос, доцент кафедры электротехники и компьютерных наук Калифорнийского университета в Беркли. «Мы ученые, и иногда мы смотрим такие фильмы, как Джеймс Бонд, и думаем: «Это голливудская театральность». Это невозможно сделать. Это смешно». И вдруг, вот оно. Это совершенно не похоже на какой-то голливудский триллер. Вы знаете, что убийца признал свою вину, потому что есть кадры видеонаблюдения, на которых видно, как вибрирует его пакет с картофельными чипсами».

Эфрос согласен с тем, что характеристика свойств материалов может быть плодотворным применением технологии. Но, добавляет он, «я уверен, что найдутся приложения, которых никто не ожидает. Я думаю, что отличительной чертой хорошей науки является то, что вы делаете что-то только потому, что это круто, а потом кто-то отворачивается и использует это для чего-то, о чем вы даже не догадывались. Очень приятно иметь такой творческий материал».

Поделитесь этой новостной статьей:

Упоминания в прессе

Новости Би-би-си

В этом видео Эл Джей Рич из BBC Click рассказывает, как исследователи из Массачусетского технологического института CSAIL разработали систему, которая может реконструировать звук из видеозаписи. «Я думаю, что действительно отличается от этой технологии тем, что она предоставляет вам способ изображения этой информации», — говорит аспирант Эйб Дэвис.

Forbes

Стивен Розенбаум освещает выступление аспиранта Эйба Дэвиса на TED в статье для Forbes . Розенбаум пишет, что Дэвис «принял участие в создании самого невероятного звукового инструмента в мире».

The Washington Post

Рэйчел Фелтман пишет для The Washington Post о том, как исследователи Массачусетского технологического института разработали новую технологию, которая может усиливать микроскопические движения, невидимые человеческому глазу. «Исследователи Массачусетского технологического института недавно опубликовали исследование, в котором они извлекли разборчивый звук, анализируя движения ближайшего пакета чипсов», — пишет Фелтман.

CNN

Хизер Келли из CNN сообщает о том, как исследователи Массачусетского технологического института разработали новую технику для воссоздания звука из немого видео. «Мы показали, что можем довольно надежно определить пол говорящего по низкокачественному звуку, который нам удалось извлечь из коробки с салфетками», — говорит доктор Майкл Рубинштейн.

NPR

Мелисса Блок из NPR исследует новый алгоритм MIT, который может преобразовывать визуальную информацию в звук. Эйб Дэвис объясняет, что, анализируя звуковые волны, проходящие через объект, «вы можете начать отфильтровывать часть этого шума и фактически восстановить звук, создавший это движение».

PBS NewsHour

Коллин Шелби сообщает для PBS NewHour о «визуальном микрофоне», разработанном исследователями Массачусетского технологического института, который может обнаруживать и реконструировать звук, анализируя звуковые волны, проходящие через объекты.

Wired

«Исследователи разработали алгоритм, который может использовать визуальные сигналы из видео для восстановления звука и использовать его для восстановления разборчивой речи из видео», — пишет Кэти Коллинз для Wired об алгоритме, разработанном группой исследователей Массачусетского технологического института, который может извлекать речь из материальных вибраций.

ABC News

Алисса Ньюкомб из ABC News сообщает о том, как исследователи Массачусетского технологического института разработали новый метод, который может обнаруживать разборчивый аудио путем видеосъемки повседневных предметов и преобразования звуковых вибраций обратно в понятный звук.

Журнал Time

Репортер Time Нолан Фини пишет о том, как исследователи из Массачусетского технологического института разработали новую технику для извлечения разборчивого звука речи путем «видеосъемки и анализа крошечных вибраций объектов».

Bloomberg Businessweek

Bloomberg Businessweek Репортер Дрейк Беннетт пишет о том, как исследователи Массачусетского технологического института разработали метод извлечения звука путем анализа звуковых колебаний, проходящих через объекты. Беннетт сообщает, что исследователи обнаружили, что звуковые волны могут быть обнаружены даже при использовании датчиков камеры мобильного телефона.

Slate

В статье для Slate Эллиот Хэннон сообщает о новой технологии, разработанной исследователями Массачусетского технологического института, которая позволяет извлекать звук из визуальной информации путем обработки вибраций звуковых волн по мере их прохождения. объекты.

New Scientist

Хэл Ходсон из New Scientist сообщает о новом алгоритме, разработанном исследователями Массачусетского технологического института, который может преобразовывать визуальные образы в звук. «Мы смогли восстановить разборчивую речь с расстояния примерно 15 футов, из пакета чипсов за звуконепроницаемым стеклом», — объясняет Эйб Дэвис, аспирант Массачусетского технологического института.

Popular Science

В статье для Popular Science Дуглас Мейн пишет о новой методике, разработанной исследователями Массачусетского технологического института, которая может реконструировать речь из визуальной информации.