Для ровной дикторской начитки локальных TTS-моделей сегодня хватает с запасом: подаёшь на вход чистый образец голоса, расставляешь ударения — и получаешь разборчивую озвучку для лекции, технической...

Для ровной дикторской начитки локальных TTS-моделей сегодня хватает с запасом: подаёшь на вход чистый образец голоса, расставляешь ударения — и получаешь разборчивую озвучку для лекции, технической заметки или видеоинструкции.

Сложности начинаются, когда нужна не дикторская читка, а актёрская игра с широким эмоциональным диапазоном — чтобы внутри одного абзаца голос прошёл через горькую иронию, ком в горле, глухой шёпот на выдохе и резкий эмоциональный срыв. Компактные модели на 0,5B–1,7B параметров такие перепады сглаживают: нейросеть держит среднюю интонацию исходного образца и читает драматический монолог с тем же бодрым выражением, что и документацию к API.

Ниже расскажу, через какие грабли я прошёл, пытаясь решить эту задачу локально — от ручной правки высоты голоса в фонетическом пакете Praat до подбора актёрских референсов — и как с этим справляется вышедшая в конце октября 2026 года модель Fish Audio Drama 3 (35B-A3B MoE) в сравнении с младшей версией S2 Pro (4B).

Как читать этот график: по горизонтали все 3 записи выровнены по словам четырёх фраз монолога (чтобы одни и те же слова находились строго друг под другом, хотя в секундах модели читают текст с разной скоростью — от 21 до 44 с). По вертикали отложена огибающая громкости и эмоционального накала: внизу (бирюзовая зона, -12…-18 дБ) — тихий глухой шёпот и выдох, посередине (0 дБ) — обычная дикторская речь, вверху (красная зона, +6…+9 дБ) — громкий эмоциональный срыв и надрыв.

Чтобы не проверять модели на случайных бытовых фразах, я взял в качестве единого стресс-теста классический фрагмент из V акта «Гамлета». На отрезке в четыре предложения здесь нужно четырежды полностью сменить подачу и работу голосового аппарата. Сначала идёт тёплая ностальгия с мягкой улыбкой («Увы, бедный Йорик! Я знал его, Горацио: человек бесконечно остроумный, чудеснейший выдумщик; он тысячу раз носил меня на спине»). Затем следует резкая смена тона, физическое отвращение и спазм («А теперь — как отвратительно мне это! Горло сжимается, когда я гляжу на него»). После этого голос должен уйти в тихий, глухой сценический шёпот прямо у микрофона («Здесь были эти губы, которые я целовал не знаю сколько раз»). И в финале после тяжёлого выдоха звучит серия трагических вопросов с нарастанием напора («Где теперь твои шутки? Твои выходки? Твои песни? Твои вспышки веселья, от которых вся застолица покатывалась со смеху?»).

Я преподаватель-исследователь, и сама эта задача выросла из подготовки интерактивного обучающего курса — как альтернативы обычной записи лекций на площадке университета. Чтобы удерживать внимание студентов и сохранять погружение в предмет даже на дистанционке, хотелось уйти от монотонной дикторской начитки к живой разговорной и актёрской подаче. Пайплайн для этого собран в два шага: сначала базовая TTS-модель генерирует речь с нужной ритмикой, дыханием и интонационным рисунком, а затем дорожка при необходимости прогоняется через RVC v2 (Retrieval-based Voice Conversion, 40 кГц — нейросеть для замены тембра голоса по аудио-исходнику), чтобы перенести готовую игру на единый целевой голос.

В качестве отправной точки я взял дообученную под русский язык модель на базе siriusfreak/qwen3-tts-12hz-1.7b-ru-stress-cf, которая понимает знаки ударения U+0301 (остроу́мный, вы́думщик, засто́лица пока́тывалась со́ смеху). На вход подавался чистый студийный референс длительностью 9,1 с.

На выходе получился файл длительностью 21,0 с (24 кГц) с фонетически чистой, разборчивой речью без акцента и цифровых артефактов. Но по эмоциям результат оказался совершенно плоским: фразу «Горло сжимается, когда я гляжу на него» и сцену шёпота модель прочитала с тем же ровным дикторским тоном, что и первую строчку (на графике это серая пунктирная линия, которая идёт почти горизонтальной полкой через весь текст).

Следующая идея была такой: раз модель не меняет интонацию внутри длинного куска, можно нарезать монолог на отдельные фразы, сгенерировать каждую со своим референсом (спокойным, мрачным, эмоциональным), а поверх докрутить интонацию скриптом через библиотеку parselmouth. Это Python-обёртка над Praat — классической программой для фонетического анализа и модификации речи. С помощью алгоритма TD-PSOLA (сдвиг высоты голоса без изменения темпа речи) я пробовал принудительно опустить основной тон голоса (F0, базовую частоту высоты голоса в герцах) на мрачной реплике, добавить лёгкое дрожание и поднять тон на финальных вопросах.

Слышимые склейки между фразами. Когда подаёшь компактной TTS-модели разные сэмплы одного и того же человека от фразы к фразе, она копирует не только интонацию, но и малейшую разницу в расстоянии до микрофона, громкости и акустике помещения. На стыках возникает ощущение, что реплики записаны в разных комнатах.