11.04.2020

Google опубликовал данные и модель машинного обучения для разделения звуков

Базу данных эталонных смешанных звуков, снабжённую аннотациями, которую можно использовать в системах машинного обучения, применяемых для разделения произвольных смешанных звуков на отдельные компоненты опубликовала компания Google. Также опубликована универсальная модель глубинного машинного обучения (TDCN++), которая может быть использована в Tensorflow для разделения звуков. Данные подготовлены на основе коллекции freesound.org и опубликованы под лицензией CC BY 4.0.

Представленный проект FUSS (Free Universal Sound Separation) нацелен на решение проблемы разделения любого числа произвольных звуков, о характере которых заранее неизвестно. Другие подобные системы, как правило, ограничены задачей разделения определённых звуков, например, голоса и не голоса или разных говорящих людей.

БД насчитывает около 20 тысяч смешиваний. В набор также входят предварительно рассчитанные импульсные характеристики помещения, подготовленные при помощи специально созданного симулятора комнаты и учитывающие отражение от стен, местоположение источника звука и местоположение микрофона.

Источники:

1. opennet.ru