Використання модуля QtTextToSpeech для синтезу мови

qt читалка, qt speech, синтезатор речи, Qt, qttexttospeech

Бібліотека Qt 5.8.0 надала програмістам можливість використовувати системний синтезатор мови. Синтезатор мови - це програма, яка перетворює текст в мову. Синтезатори мови є невід'ємною частиною будь-якої сучасної операційної системи: Windows (версії 7 і вище), Mac OS, Linux, iOS і Android. Багатоплатформовий інтерфейс для управління синтезом мови надає модуль QtTextToSpeech бібліотеки Qt.

Для роботи з модулем QtTextToSpeech на ОС Windows необхідно:

• встановити бібліотеку Qt c модулем QtTextToSpeech для компілятора Visual Studio 2015 або старше (mingw працювати не буде);
• встановити компілятор Visual Studio 2015;
• встановити бібліотеку SAPI 5.1 , якщо з якоїсь причини вона відсутня на вашому комп'ютері;
• встановити голосу для [синтезатора мови] (https://cloud.mail.ru/public/7twT/tG1evtCjX) (якщо у вас вони відсутні).
• При складанні проекту необхідно використовувати тіньову збірку.

Опис

Якщо при компіляції програми Ви бачите повідомлення

Error loading text-to-speech plug-in "sapi"

то ви зробили щось неправильно.

Якщо ви використовуєте Android, то за замовчуванням у вас працює online синтезатор. За це ви розплатитеся затримкою при синтезі і витраченим трафіком. Якщо це вас не влаштовує, то встановлюйте offline версію. На Android 5.1 для цього необхідно перейти в «настройки» - «більш доступного режиму» - «синтез мови» - «синтезатор мови Google» - «установка голосових даних» - «російський (Росія)» і тиснемо встановити і очікуємо завершення. Крім того, готуємо Qt Creator для створення Android додатків.

Тепер можна приступати до написання програми. За посиланням ви можете скачати проект з вихідним кодом програми, описаної нижче. Створюємо процес новий проект qtwidget. У файл проекту підключає необхідний модуль

QT += texttospeech

Підключаємо бібліотеку синтезатора мови

#include <QtTextToSpeech>

Створюємо покажчик на об'єкт класу QTextToSpeech

QTextToSpeech* speech;

а потім і сам об'єкт

speech = new QtextToSpeech;

Тепер можна генерувати мовні сигнали за допомогою функції say(), в якості аргументу якої потрібно передати вимовний текст. У прикладах створених розробниками Qt Creator наведено простий приклад helloSpeech. Розгляньте його для того, щоб краще зрозуміти можливості розглянутого модуля.

Я перейду до деяких складніших речей. Програма, яку ви можете завантажити за посиланням, містить віджет класу QTextEdit для відтвореного тексту, керуючі кнопки: старт, стоп, вперед назад, ..., вікно для вибору файлів, і вікна для настройки синтезатора.

void MainWindow::start(bool checked)

Запускати на відтворення можна і великі текстові фрагменти. Однак це призводить до необов'язковим затримок, а в разі online синтезатора на Android і до зависання програми. Тому дробимо текст на фрагменти, чим менше, тим краще. Для початку я виділяю з тексту абзац (int activeBlock), а потім розбиваю рядок на лист рядків (QStringList readList) використовую точки як роздільник.

void MainWindow::start(bool checked)
{
    if(checked)
    {
        if(readList.isEmpty())
        {
            readList = ui->textEdit->document()->findBlockByNumber( activeBlock ).text().split(".");
        }
        if(!readList.isEmpty())
        {
            readString = readList.first();
            readList.removeFirst();
            if(!readString.contains(QRegularExpression("[A-Z]|[a-z]|[0-9]|[А-Я]|[а-я]")))
            {
                readString = ".";//windows не читает точки
                if(QSysInfo::productType() == "android")
                    readString = " ";
            }
            speech->say( readString );
            scrollTo();
            ui->textEdit->setReadOnly(true);
        }
    }
    else
    {
        readList.prepend(readString);//
        speech->stop();
        ui->textEdit->setReadOnly(false);
    }
}

void MainWindow::speechStateChange(QTextToSpeech::State state)

На синтезатор передається одна строчка. Після завершення її відтворення speech генерує сигнал stateChanged. Підключений до неї слот speechStateChange відповідає за відтворення чергового рядка.

void MainWindow::speechStateChange( QTextToSpeech::State state)
{
    QString mes;
    switch(state)
    {
    case QTextToSpeech::Ready:
        if(ui->pushButtonStart->isChecked())
        {
            textBlockSelection(colorClean);
            if(readList.isEmpty())
            {
                if( setActiveBlock( activeBlock+1 ) )
                    start();
                else
                    stop();
            }
            else
            {
                start();
            }
        }
        mes = "ready";
        break;
    case QTextToSpeech::Speaking:
        textBlockSelection(Qt::green);
        mes = "speaking";
        break;
    case QTextToSpeech::Paused:
        mes = "paused";
        break;
    case QTextToSpeech::BackendError:
        mes = "error";
        break;
    }
}

допоміжні функції

Для зручності використання програми в якості читалки були написані дві допоміжні функції scrollTo () для прокручування тексту до обраного абзацу та textBlockSelection (QColor) для виділення читаного абзацу кольором фону. Нижче наведено їх вихідний код.

void MainWindow::scrollTo()

void MainWindow::scrollTo()
{
    if(ui->textEdit->verticalScrollBar()->maximum() == 0)
        return;
    QTextDocument *textDoc = ui->textEdit->document();
    int value = 0;
    for(int i = 0; i < activeBlock; i++)
    {
        value +=textDoc->findBlockByNumber(i).layout()->lineCount()
                * textDoc->findBlockByNumber(i).layout()->lineAt(0).height()
                + textDoc->findBlockByNumber(i).blockFormat().bottomMargin();
    }
    if(value <= ui->textEdit->verticalScrollBar()->maximum())
        ui->textEdit->verticalScrollBar()->setValue(value);
}

bool MainWindow::setActiveBlock(int blockNumber, bool scroll)

bool MainWindow::setActiveBlock(int blockNumber, bool scroll)
{
    readList.clear();
    textBlockSelection(colorClean);
    if(blockNumber < 0)
    {
        activeBlock = 0;
        if(scroll)
            scrollTo();
        return false;
    }
    if(blockNumber >= ui->textEdit->document()->blockCount())
    {
        activeBlock = ui->textEdit->document()->blockCount()-1;
        if(scroll)
            scrollTo();
        return false;
    }
    else
    {
        activeBlock = blockNumber;
        if(scroll)
            scrollTo();
        return true;
    }
}

Наголос і Омографи

Суттєвою проблемою для синтезатора мови є наголос. Особливо в тих випадках, коли два слова пишуться однаково, але мають різні наголоси (омографи). В такому випадку, без застосування складних семантичних алгоритмів, наголос може бути виставлено тільки в ручну. І Windows (на відміну від Android) дозволяє це зробити. Для цього потрібно поставити знак «`»(на одній клавіші з буквою е). Однак точного механізму роботи цього інструменту встановити не вдалося.