Сообщений в теме: 12

[DrSlon]

Часто авторы альтернативных переводов при переозвучке видео используют три метода:

1. Просто сносят оригинальную звуковую дорогу, вставляют музыку и записывают альтернативные реплики. При этом видео выглядит "пустым" из-за отсутствия фоновых звуков. Особо упёртые заморачиваются наложением фоновых звуков из библиотек, коих тьма.

2. Приглушают оригинальную стерео-дорожку, ища компромисс между громкостью оригинала и наложенных альтернативных голосов. При желании наложить альтернативную музыку, этот способ не подходит.

3. В шестиполосном звуке приглушают центральную дорожку, что позволяет достичь довольно неплохих результатов: оригинальные голоса почти не слышны, фоновые звуки присутствуют. Альтернативную музыку почти всегда наложить без потери фоновых звуков не удается. 

 

В экспериментальных целях вырезал кусочек  стерео-аудиодороги и скормил ее нейросети https://mvsep.com/ru/. Там есть алгоритм, позволяющий разделить стерео-аудиодорогу на  голос, музыку и фоновые звуки.

 

В примере по ссылке я переозвучил фрагмент фильма с использованием вырезанных нейросетью фоновых звуков и альтернативной музыки, а в конце  фоновые звуки+оригинальная музыка. 

 

"Милые дерутся-только тешатся"

https://drive.google...iew?usp=sharing

Сообщение отредактировал DrSlon: 30 марта 2023 - 21:36

[MrClon]

Выложил бы ещё отдельно исходный кусок и дорожки на которые его нейросеть наплостала, для тех кому лень самим тестить.

Техника походу перспективная

[Halfanonim]

Помню, в Аудасити есть функция отделения голоса от бекграунда, но чет она не особо помогла. Может, хоть здесь чет получится.

[MrClon]

Думаю там просто разделение по частотам или что-то такое, а тут заявляется некая нейросетевая магия. Машинлёгнинг, диппфистинг, вот это вот всё

[notimer]

Пользовался сайтом https://mvsep.com/ru/, пока не открыл для себя другую нейронку, которая хавает и выдает куда более глубокое разделение.
А какая эта нейронка не скажу, сасите пидары!

[DrSlon]

Если ты имеешь ввиду lalal.ai, то она не умет отделять фоновые звуки от музыки. 

[DrSlon]

Для проверки возможностей нейросети  https://mvsep.com/ru/ поэкспериментировал с русскоязычной озвучкой. Огрехи конечно есть, но вполне можно использовать как основу для альт. перевода русских фильмов. Примеры с разными полученными дорожками во фрагменте: 

https://drive.google...?usp=share_link

[notimer]

Если ты имеешь ввиду lalal.ai, то она не умет отделять фоновые звуки от музыки. 

Нет, не её, есть гораздо лучше.

[DrSlon]

Свежий видосик от Димы Череватенко ("лицо" пиратского профессионального дубляжа студии RHS) на тему нейросетей в озвучке

Смотреть на YouTube

Ролик длинный, кому лень смотреть: Со времен Апы и озвучки ботами они ушли вперед. Но не сильно. Механическую озвучку сразу слышно, например слово "бухАть",  нейросеть читает как бУхать

[DrSlon]

Свежий видосик от Димы Череватенко ("лицо" пиратского профессионального дубляжа студии RHS) на тему нейросетей в озвучке

Смотреть на YouTube

Ролик длинный, суть в следующем: Со времен Апы и озвучки ботами они ушли вперед. Но не сильно. Механическую озвучку сразу слышно, например слово "бухАть",  нейросеть читает как бУхать

[Jimmy J.]

Да пизда придет. Параллельно развиваются разные подходы.

 

Клонирование голоса  - сократит количество специалистов сфере скорее всего. Будут голоса известных артистов типа Бурунова или Севки Кузнецова, которым повезло попасть во время когда прогресс наложился на их известность, они могут в теории получать отчисления, ноунеймы если и будут, то будут либо еще меньше получать, либо работать голосом на который потом накладывается голосовая маска Севки или Бурунова.

Если разовьется технология перевода на другой язык с сохранением интонаций то дубляж в принципе отвалится (можно сюда добавить автолипсинг нейронки который уже есть)

Текст ту спич в дубляж не засунешь скорее всего, либо засунешь хуй знает через сколько лет, такая ИИ должна понимать контекст, эмоции и т.д.

Текст ту видео ебнет кино.

Закадр отвалится быстрее дубляжа.

Аудиокниги быстрее закадра.

 

[Alex666]

И да грядёт Апокалипсис!

Кино, как таковое, сейчас-то неинтересное совсем (посмотрев что-либо сегодня, назавтра не можешь вспомнить - о чём был фильм), а после тотальной пизды в виде подключения ИИ к озвучке (а там глядишь - и к созданию сценария с режиссурой) оно превратится в хер знает что. И ведь это ещё только начало...конца.

[v_kosmin]

Главное в фундаментализме доктрины - не потерять голос. Свет, камера, мотор - и начинаются "ладушки". Лучшая награда за труды - пельмешки от Олешки... 

 

https://youtu.be/nykEMiwqg6I