На самом деле принадлежит вполне реальному человеку. Каково это — «озвучить» виртуального помощника Apple? Издание Vox обратилось с этим вопросом к актрисе Сьюзан Беннет , голосом которой и говорит Siri .
Госпожа Беннетт — известный по всему миру «голос за кадром». Кроме работы на Apple, она озвучивает рекламу, поет и наделяет своим голосом самые разные сервисы и продукты многих других компаний.
Беседа со Сьюзан — вещь сюрреалистическая. В какой-то момент она разговаривает с вами так же, как и всегда… и вы чувствуете, что у нее самый приятный голос из всех тех, что вы когда-либо слышали. Далее она «включает» манеру общения Siri — и создается впечатление, что вы общаетесь не с человеком, а с компьютером.
В профессии Сьюзан Беннетт
работает с 70-х гг прошлого века. Десятилетиями она записывает текст для автоответчиков, систем звукового и речевого оповещения («стандартный» голос в аэропорту, на стадионе и т.п.) и самых разных клиентов — от крупных корпораций до малого бизнеса.
В 2005 году Беннетт записала голос для Siri . Тогда она и понятия не имела о том, что ее работа будет знакома каждому пользователю iPhone в США — компания-создатель Siri еще не была выкуплена Apple. Приложение с голосом Сьюзан появилось в App Store в 2010 году, а год спустя уже было встроено в iOS и работало по умолчанию на новом флагмане Apple — iPhone 4S.
«Я записывала по четыре часа каждый день, пять дней в неделю, в течение всего июля . Для актера-закадрового голоса такой объем работы — серьезная нагрузка, это слишком долго. Со временем устаешь».
Записывать «компьютерный» голос вроде того, что получила Siri
, особенно трудно. Актер не читает осмысленные слова или предложения; в его задачу входит произнесение случайных слов с наличием в них так называемых «базовых» звуков — гласных, согласных, слогов и дифтонгов. Из них голосовой помощник Apple и строит уже осмысленные ответы. Например, Сьюзан нужно было произнести слова с буквой «S» во всех возможных вариантах произношения — и актриса надиктовывала настоящий «набор слов». Особого смысла в нем не было, выглядело это, по признанию самой Сьюзан, откровенно глупо.
Беннетт думает, что сегодня в записи Siri участвуют несколько других актеров. Это сделано для того, чтобы улучшить качество сервиса и дать пользователям больше вариантов.
Долгие годы Сьюзан скрывала тот факт, что «голос» Siri дала именно она — большинство актеров-«закадровых голосов» предпочитают лишний раз не светиться на публике, ведь после признания от славы уже не скрыться. Пойти на «каминг-аут» ее заставила ошибка журналистов The Verge — те решили, что Siri озвучивала не она, а другая актриса.
Рынок закадровых голосов является высококонкурентным, так что Беннетт решила не давать коллеге по работе очевидного преимущества (только представьте, что означает фраза в резюме «Я озвучивала Siri»!). Сегодня благодаря новейшим технологиям, рассказывает актриса, получить отличный заказ может каждый — достаточно иметь подключение к Интернету и несколько тысяч долларов на оборудование. Сама Сьюзан, как и многие коллеги, работает из дома. Там у нее оборудована студия, которая привела бы в восторг любого фаната аудиотехнологий. Чего стоит хотя бы один микрофон Neumann TLM 193 за $1 600!
Сьюзан Беннетт
заботится о своем голосе: часто пьет теплую воду вместо чая, иногда принимает в пищу мед и старается не прочищать горло.
А можно ли стать актером-специалистом по озвучке? Да, но это не для каждого, говорит Сьюзан, ведь голос — это врожденное:
Сьюзан Беннетт уверена: компьютеры никогда не смогут заменить человеческий голос — нечто в нем не поддается симуляции. Что и говорить — машина никогда не сможет заговорить сначала голосом Siri , а затем от души рассмеяться как самый обычный человек.
В последнее время в нашу повседневную жизнь всё больше проникают голосовые помощники. Большинство пользователей iPhone и других продуктов компании Apple хорошо знакомы с одним из них – Siri, но мало кто понимает все перспективы виртуальных ассистентов и умеет пользоваться всеми их возможностями и функциями.
Что такое голосовой помощник
Представьте, с вами рядом всегда находится ваш преданный друг, который в любое время дня и ночи готов с вами поговорить, ответить на любой ваш вопрос и выполнить поручения. При этом он никогда не устает, у него не бывает плохого настроения, и он с каждым днем становится всё умнее и понимает вас всё лучше. Это и есть голосовые помощники, которые доступны для повседневного использования уже сегодня.
Голосовые помощники встроены в компьютеры, планшеты, телефоны, умные часы, умные колонки и даже в автомобили. Важно понимать, что взаимодействие с голосовым помощником осуществляется исключительно голосом, без использования рук, не нажимая ни на какие кнопки. Это принципиально новый способ взаимодействия человека и программы, который очень похож на общение между людьми.
- Siri от компании Apple.
- Google Ассистент компании Google.
- Alexa от Amazon.
- Алиса от компании Яндекс.
Мы уже писали ранее и , а в этой статье мы подробно расскажем о Сири.
Голосовой помощник Siri
Siri – это голосовой помощник, который первым стал поддерживать русский язык, и только потом появилась отечественная , вышедшая в конце 2017 года, а еще позже летом 2018 на русском заговорил . Сири довольно хорошо распознает русскую речь, даже если рядом играет музыка или присутствуют посторонние шумы.
Сири в iPhone SE
Siri не всегда принадлежала компании Apple. Изначально, это было отдельное приложение в App Store для iOS. В 2010 году Apple приобрела компанию Siri Inc. и их уникальную разработку. Вскоре после покупки, Apple встроила Сири в iPhone 4S, а затем и в последующие свои устройства. Тогда, в 2011 году, Siri стала первым продуктом на рынке персональных голосовых ассистентов.
Siri подстраивается под каждого пользователя индивидуально, изучает его предпочтения и начинает лучше понимать своего «хозяина». В первую очередь это заметно в улучшении распознавания вашего голоса после первых недель использования. Также есть возможность указать Siri, как следует обращаться к вам и называть имена ваших контактов из адресной книги, чтобы она лучше вас понимала. А когда Siri произносит имена неправильно, всегда можно её поправить, показать правильное ударение.
Siri доступна на iPhone, iPad, Mac, Apple Watch, Apple TV и , а также почти во всех современных автомобилях через функцию CarPlay. Способ запуска Siri и список доступных команд разнится в зависимости от устройства.
Как запустить Siri на iPhone, iPad и iPod touch
Запуск нажатием кнопки «Домой»
Siri доступна на всех iPhone, начиная с iPhone 4s, на операционной системе iOS 5 и выше. Для запуска Siri на iPhone (за исключением iPhone X), нужно нажать и удерживать центральную кнопку «Домой».
Чтобы запустить Сири на iPhone X необходимо нажать и удерживать боковую кнопку.
После звукового сигнала, можно произносить запрос. На некоторых устройствах следует дождаться появления Siri на экране, прежде чем давать команду.
Привет, Сири – Как включить Siri голосом
Siri можно запускать исключительно с помощью голоса, вообще без нажатия на кнопки. Нужно будет всего лишь сказать: «Привет, Siri». После звукового сигнала можно задавать вопрос или давать команду.
Для этого на устройстве должна быть активирована функция «Привет, Siri»: Настройки → Siri и поиск → Слушать «Привет, Siri».
На всех моделях iPhone, начиная с iPhone 6s, а также на iPad Pro эту функцию можно использовать в любой момент, сказав «Привет, Siri» так, чтобы это уловили микрофоны гаджета. На более ранних айфонах и айпадах функция «всегда слушает» работает только тогда, когда ваш гаджет подключен к зарядному устройству.
Как включить Сири в наушниках
Используя оригинальную гарнитуру Apple с кнопками дистанционного управления или совместимые Bluetooth-наушники, активировать Siri можно нажатием на центральную кнопку или кнопку вызова. После звукового сигнала можно делать запрос.
Используя беспроводную гарнитуру AirPods от Apple, для запуска Siri дважды прикоснитесь к внешней поверхности любого наушника.
Сири на компьютере Mac
Siri доступна на компьютерах Mac с macOS 10.12 Sierra и более новыми версиями операционной системы. Однако, на данный момент функционал голосового помощника на маке ограничен. Все, что здесь умеет Siri – звонить по FaceTime, писать сообщения, включать музыку, показывать прогноз погоды и помогать работать с файлами и папками.
Сири на маке
Стоит отметить, что работа с файлами на компьютере с помощью голосового ассистента действительно удобна. Сири может осуществлять быстрый поиск файлов, сортировать их по типу, дате или ключевому слову. Например, если сказать Сири: «Покажи мои фотографии за вчерашний день», то откроется папка с соответствующими медиафайлами.
Активировать Siri на Mac можно несколькими способами:
Вероятно, в следующих версиях macOS появится больше команд для Siri, включая команды для HomeKit. Это будет логичным продолжением интеграции голосового помощника от Apple в свои ноутбуки и настольные компьютеры.
Функции Сири
Персональный ассистент Siri умеет отвечать на вопросы, давать рекомендации и выполнять команды. Давайте рассмотрим некоторые из них.
Это лишь малая часть всего того, что умеет Siri. Ознакомиться с большим количеством команд можно в нашей статье о командах для Сири . Полный же список команд для голосового помощника в айфонах и умных колонках Хоум Под вы найдете в нашем справочном мобильном приложении, которое мы регулярно обновляем. Скачать приложение «Команды Siri» можно бесплатно. Установив его, вы всегда будете иметь под рукой самый актуальный список команд для голосового помощника.
Siri это голосовой помощник или искусственный интеллект. Кому как больше нравится. Это программа, которая встроена во все устройства, работающие под операционной системой iOS. До выхода девятой версии «яблочной» операционной системы «Сири» была скорее развлекательным инструментом.
Навигация
Чего уж там таить, она по своей функциональности не дотягивала до конкурентов от Microsoft и Google. Но, все изменилось после выхода iOS9. «Сири» поумнела и теперь ее можно использовать для решения своих повседневных задач.
Как запустить Siri?
Запустить голосовой помощник очень просто. Достаточно подержать кнопку домой около двух секунд. При этом даже не нужно разблокировать устройство. Достаточно того, что оно будет включено. После звукового сигнала на экране появится изображение микрофона. Это значит, что ассистент от Apple готов к работе.
Нажмите на изображение вопросительного знака. После чего откроется список приложений, которыми можно управлять с помощью Siri. Благодаря этому голосовому помощнику можно сэкономить массу времени при работе со своим устройством. Причем, самое важное, «Сири» способна адаптироваться под особенности произношения пользователя.
Высылка сообщений
Наверное, самой простой возможностью использовать голосовой помощник от Apple, является начитка текстовых сообщений. Это поможет сэкономить время перед их набором на клавиатуре и при этом повысит вашу продуктивность. Что особенно полезно при использовании смартфона. Где даже удобная виртуальная клавиатура от Apple не всегда может корректно «считать» касания экрана пальцами.
Надиктовывайте с помощью «Сири» текстовые заметки, email-письма, сообщения для друзей и коллег в мессенжерах и т.п. Два-три дня использования Siri и вы сможете это делать в разы быстрее, чем при использовании клавиатуры.
Работа с календарем
Еще одна умная возможность использование голосового помощника в iPhone и iPad – работа с календарем. При этом, использование Siri для такой «работы» многие ставят выше, чем надиктовывание простых заметок. С помощью «Сири» можно:
- Узнать, что запланировано в вашем календаре без активации соответствующей программы
- Перенести встречу на другое время
- Запланировать телефонный разговор
- Назначить встречу с коллегой или компаньоном
- Отменить встречу
Все эти действия можно произвести просто сказав «Сири» сделать это.
Вам понравится сообщать вашему телефону дату, время и место встречи, события или визита – и обнаруживать эти данные у себя в календаре. И если у вас сложится ситуация, в которой две встречи по времени будут накладываться друг на друга, – «Сири» незамедлительно вам об этом сообщит.
Прокладка маршрута
Также Siri можно попросить проложить маршрут до нужной точки. Это очень полезно в новом городе, где вы плохо ориентируетесь. При этом вам уже не нужен будет ваш навигатор, где адрес вносится вручную. Достаточно сказать «Сири»:
- «Как доехать до проспекта Ленина, дом 37»
- «Где ближайшая заправка или продуктовый магазин»
- «Где живет Катя»
- «Через сколько я доеду до микрорайона Королева дом 24»
Это очень удобно, просто и не отнимает много времени, как если вводить адрес вручную.
Напоминания
Еще одна функция, без которой невозможно представить умное использование голосового помощника – напоминания. Память человека часто дает сбой. Особенно тогда, когда от нее этого никак не ждешь. Для того, чтобы лучше организовать свою жизнь и минимизировать проблемы с памятью мы оставляем напоминания. Сделать это можно и с помощью Siri. Мы просто говорим своему голосовому помощнику:
- «Напомни мне купить бумагу для принтера»
- «Напомни позвонить Ире и решить вопрос поставки»
- «Напомни заехать в сервис на диагностику»
Создайте с помощью Siri несколько таких напоминаний и поймете, как это удобно по сравнению с записями в ежедневнике.
Будильник и почта
Вы все еще выставляете время на будильнике вручную? Попросите это сделать за вас умной Siri. Скажите ей:
- «Разбуди меня завтра в 6:15»
- «Включи таймер на 15 минут»
- «Скажи, когда будет 12:00»
Искусственный интеллект «Сири» поможет вам отыскать электронное письмо от нужного адресата. Конечно, можно с помощью этого электронного ассистента надиктовывать и отправлять электронную почту. Но, обязательно проверяйте такие письма перед отправкой. Вдруг Siri, что-то поймет не так.
Другие примеры использования Siri
«В каких фильмах снимался Бенедикт Камбербэтч»
«Что такое декантер»
«Первый премьер-министр Великобритании»
Функция Proactive Assistant
В новой Siri реализована функция Proactive Assistant. Это ключевое нововведение и помогло голосовому помощнику от Apple, если не обогнать своих конкурентов, то уж точно догнать их. С помощью режима Proactive Assistant голосовой помощник способен предугадывать действия пользователя и помогать ему их осуществить.
Самообучаемый интеллект Siri будет изучать привычки пользователя и предугадывать их. Если вы любите утром слушать музыку, то «Сири» включит ее самостоятельно. А если вы любите проверить свое почту или пробежаться в Facebook во время обеденного перерыва, Siri с помощью функции Proactive Assistant поможет вам это сделать без лишних напоминаний.
Безопасность
И в заключении хочется сказать пару слов о безопасности. Многие бояться использовать голосовой помощник от Apple из-за того, чтобы их данные не утекли в сеть. Разработчик заверил, что этого не случиться благодаря тому, что Siri напрямую не связана с Apple ID. Поэтому, все данные будут подконтрольны только конкретному пользователю.
Видео. Siri на русском. IOS 9.2
Siri – персональный голосовой помощник с искусственным интеллектом, присутствующий на всех современных аппаратах Apple. Изначально Siri была отдельным приложением, которое пользователи «яблочных» девайсов могли загрузить из AppStore. В 2011 году фирма Apple приобрела Siri, и мобильное приложение прекратило существование. Впервые голосовой помощник появился на iPhone 4S — как компонент базового программного обеспечения.
Разработчики Apple перед выходом iPhone 4S преподносили Siri как революционную технологию. Однако отечественных поклонников бренда Apple новая функция разочаровала – Siri просто не умела разговаривать по-русски . Функция поддерживала лишь несколько языков – французский, немецкий, японский и английский в различных вариациях (США, Британия, Австралия, Канада).
Надежда на то, что Siri вскоре получит поддержку русского языка, у отечественных пользователей возникла после релиза beta-версии iOS 7. Голосового помощника научили читать имена, написанные на кириллице. У Siri на русском получалось произносить их достаточно нелепо, однако ранее программа даже и не пыталась делать этого.
С появлением iOS версии 8.3 Siri, наконец, официально овладела русским языком, а кроме него ещё несколькими – например, малайским, португальским, турецким, тайским. Однако отечественные пользователи всё равно были недовольны – из-за особенностей и многогранности русского языка программа не работала корректно.
По-настоящему пригодной для ежедневного применения Siri стала только с выходом iOS 9. Обновлённый помощник оказался умнее: он начал понимать сложные запросы и обрабатывать их значительно быстрее (по данным производителя – на 40%). iOS 9 вышла 8 июня 2015 года – с этого дня российские юзеры перестали смотреть на Siri как на забавную, но бесполезную игрушку.
Качество работы Siri зависит не только от версии операционной системы, но и от модификации iPhone. Полноценно пользоваться Siri можно на iPhone 6-го поколения и более новых моделях. Проблема предыдущих моделей заключается в том, что они не способны достаточно эффективно отфильтровывать посторонний шум.
Что умеет помощник Siri?
Узнать о возможностях интеллектуального помощника Siri удастся, просто спросив об этом у него самого. Достаточно задать вопрос: «Siri, что ты умеешь? » — и на экране появится перечень всех основных функций и возможностей программы.
Если пользователь попросит Siri выполнить операцию, которая ей не знакома, программа ответит, что не поняла (как на изображении справа). Однако такие ситуации – редкость: функционал современной Siri достаточно широк. Какие же задачи способна выполнять эта программа?
Прокладка маршрута . Запуск навигатора и ручной ввод адреса в строку могут отнять много времени. Куда проще активировать Siri и попросить её проложить маршрут до нужной точки. Можно сформировать запрос наподобие такого: «Siri, как доехать до улицы Ленина, 56? ».
Встроенный навигатор iPhone часто критикуют, однако он вовсе не так плох. Благодаря его возможностям Siri способна не только показать, как доехать до адреса кратчайшим путём, но и ответить, сколько времени отнимет дорога.
Создание будильника . Пользователю нужно сообщить Siri, в какое время утром он должен проснуться, и программа сама заведёт будильник. Задать можно не только конкретные час и минуту, но и временной промежуток. Например, если юзер применит запрос «Siri, разбуди меня через 30 минут », программа сама отсчитает полчаса, отталкиваясь от текущего времени.
Планирование календаря. Эта функция Siri «на вес золота» для деловых людей. Благодаря интеллектуальному помощнику пользователь iPhone может запланировать телефонный разговор с деловым партнёром, назначить либо отменить назначенную ранее встречу, скорректировать время совещания – и всё это не обращаясь к встроенному приложению «Календарь» напрямую. Siri не просто слепо фиксирует планы владельца iPhone – если, скажем, телефонный разговор и назначенная встреча совпадают по времени, виртуальный помощник обязательно сообщит пользователю об этом.
Отправка сообщений . Писать SMS-сообщение или электронное письмо при помощи крохотных кнопочек экранной клавиатуры не очень удобно – особенно когда T9 так и норовит подсунуть слово нелепое и абсолютно неподходящее по контексту. Надиктовать текстовое сообщение – совсем другое дело. Пользователь, который попробует сделать это впервые, наверняка будет удивлён тем, насколько здорово Siri распознаёт русскую речь.
У интеллектуального помощника Apple есть и другие функции — менее полезные, но очень забавные:
- Монетка. Что делать, если нужно решить спор при помощи жребия, а в кармане сплошь купюры? Ясно же – попросить бросить монетку Siri. Деньги из iPhone, конечно, не посыплются – виртуальный помощник просто сообщит, что выпало: орёл или решка.
- Титул. Пользователь Айфона может приказать Siri называть себя «Великим Императором» или «Владыкой Галактики» — и помощник повинуется. Полезна эта функция только для тех, у кого мания величия – остальным она просто поднимет настроение.
Как пользоваться Siri?
Включить Siri можно 2-мя способами. Первый способ – нажать клавишу «Home » и удерживать её до того момента, как появится синий экран и Siri спросит, чем она может помочь («What can I help you with? »).
Второй способ – голосовая активация: пользователь просто может произнести «Привет, Сири! », и виртуальный помощник немедленно начнёт работать. Чтобы запуск Siri вторым способом был возможен, необходимо проследовать в настройки виртуального помощника и активировать соответствующий ползунок.
На iPhone 6S и новейших моделях активировать Siri голосом можно в любой момент. На iPhone 6 и менее современных девайсах включить виртуального помощника командой «Привет, Siri!» удастся, только если мобильное устройство находится на подзарядке.
После того как программа запустится и на экране появится строка записи звука (как в диктофонах), необходимо продиктовать команду или вопрос. Мы, например, спросим у Siri, «Сколько будет 120 на 80? » — очевидно, если она робот, то должна считать быстрее человека. Виртуальный помощник обрабатывает голосовую команду пользователя и переводит её в текст, который появляется на экране iPhone.
Siri использует встроенные приложения Айфона для выполнения банальных операций. Если пользователь желает получить информацию, которую Siri неспособна дать (например, «Сколько лет живут кошки? »), программа перенаправит его в глобальную сеть.
По умолчанию виртуальный ассистент применяет поисковую систему Bing. Если пользователь хочет обратиться к другой системе, ему следует уточнить этот момент – произнести, скажем, «Найди в Google, сколько лет живут кошки ». Тогда Siri запустит браузер Safari и самостоятельно внесёт в поисковую строку запрос.
Примечательно то, что Siri способна обучаться. Если юзер «поболтает» с виртуальным помощником 1.5-2 часа, он непременно заметит, что программа стала понимать его лучше и выполнять требования быстрее. Siri нужно время, чтобы приноровиться к особенностям произношения конкретного пользователя.
Заключение
Несмотря на то что уже сейчас Siri достаточно эффективна и способна выполнять по голосовым запросам множество полезных действий, виртуальному помощнику от Apple есть к чему стремиться. Недавние исследования показали, что Siri хоть и лучше распознаёт речь с акцентом, чем Alexa от Amazon, но вчистую проигрывает по этому критерию ассистенту от Google под названием Google Home.
Apple и не собирается прекращать совершенствовать своего интеллектуального ассистента – Siri регулярно получает новые навыки. Например, на iOS 10 помощник может заказывать пиццу на дом пользователя и производить денежные переводы посредством сервиса Square Cash.
Siri - голосовой ассистент, который впервые был представлен в 2011 году вместе с iOS 5. Разумеется, с тех пор он серьезно развивался: научился говорить на разных языках (в том числе и на русском), пришел на компьютеры Mac, научился взаимодействовать с программами от сторонних разработчиков и т.д., но качественный скачок он сделал только с анонсом iOS 10 - теперь его голос основан на глубоком обучении, что позволяет ему звучать более естественно и плавно. Что такое глубокое обучение и как синтезируется голос Siri - об этом мы и поговорим в этой статье.
Введение
Синтез речи - искусственное воспроизведение человеческой речи - широко используется в различных областях, от голосовых помощников до игр. Недавно, в сочетании с распознаванием речи, синтез речи стал неотъемлемой частью виртуальных персональных помощников, таких как Сири.
Существуют две технологии синтеза речи, используемые в звуковой индустрии: выбор звуковых единиц и параметрический синтез. Синтез выбора единиц обеспечивает наивысшее качество при достаточном количестве высококачественных речевых записей, и, таким образом, это наиболее широко используемый метод синтеза речи в коммерческих продуктах. С другой стороны, параметрический синтез обеспечивает очень понятную и плавную речь, но имеет более низкое общее качество. Современные системы выбора звуковых единиц объединяют некоторые преимущества двух подходов, и поэтому они называются гибридными системами. Методы выбора гибридных единиц аналогичны методам классической селекции единиц, но они используют параметрический подход для прогнозирования того, какие звуковые единицы должны быть выбраны.
В последнее время глубокое обучение набирает обороты в области речевых технологий, и в значительной степени превосходит традиционные методы, такие как скрытые марковские модели (СММ), в принципе работы которых лежит разгадывание неизвестных параметров на основе наблюдаемых, при этом полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов. Глубокое обучение обеспечило полностью новый подход к синтезу речи, который называется прямое моделирование формы волны. Он может обеспечить как высокое качество синтеза выбора единиц, так и гибкость параметрического синтеза. Однако, учитывая его чрезвычайно высокие вычислительные затраты, реализовать его на пользовательских устройствах пока не получится.
Как работает синтез речи
Создание высококачественной системы преобразования текста в речь (TTS) для персонального помощника - непростая задача. Первый этап - найти профессиональный голос, звучание которого будет приятным, разбочивым и соответствующим личности Сири. Чтобы охватить некоторые вариации из огромного разнообразия человеческой речи требуется записать 10-20 часов речи в профессиональной студии. Сценарии записи варьируются от аудиокниг до инструкций по навигации, и от подсказок до ответов на остроумные шутки. Как правило, эта естественная речь не может использована в голосовом помощнике, потому что невозможно записать все возможные высказывания, которыми может говорить помощник. Таким образом, выбор звуковых единиц в TTS основан на разрезании записанной речи на ее элементарные компоненты, такие как фонемы, а затем их рекомбинации в соответствии с входным текстом для создания совершенно новой речи. На практике, выбор соответствующих сегментов речи и объединение их друг с другом непростая задача, поскольку акустические характеристики каждой фонемы зависят от соседних и интонации речи, что часто делает речевые единицы несовместимыми друг с другом. На рисунке ниже показано, как речь может быть синтезирована с использованием речевой базы данных, разделенной на фонемы:
В верхней части рисунка показано синтезированное высказывание «Синтез выбора единиц» и его фонетическая транскрипция с использованием фонем. Соответствующий синтетический сигнал и его спектрограмма показаны ниже. Речевые сегменты, разделенные линиями, являются непрерывными сегментами речи из базы данных, которые могут содержать одну или несколько фонем.
Основная проблема выбора звуковых единиц в TTS заключается в том, чтобы найти последовательность единиц (например, фонем), которые удовлетворяют входному тексту и предсказанной интонации, при условии, что они могут быть объединены вместе без слышимых сбоев. Традиционно процесс состоит из двух частей: front-end и back-end (входящие и выходящие данные), хотя в современных системах граница иногда может быть неоднозначной. Целью front-end является предоставление фонетической транскрипции и информации об интонации на основе исходного текста. Сюда же включается и нормализация исходного текста, который может содержать числа, сокращения и т.д.:
Используя символьное лингвистическое представление, созданное модулем текстового анализа, модуль генерации интонации предсказывает значения для акустических характеристик, таких как, например, продолжительность фразы и интонации. Эти значения используются для выбора соответствующих звуковых единиц. Задача выбора единицы имеет высокую сложность, поэтому современные синтезаторы используют методы машинного обучения, которые могут изучить соответствие между текстом и речью, а затем предсказать значения речевых функций из значений подтекста. Эта модель должна быть изучена на этапе обучения синтезатора с использованием большого количества текстовых и речевых данных. Входные данные для этой модели - это числовые лингвистические функции, такие как идентификация фонемы, слова или фразы, преобразованные в удобную численную форму. Выходной сигнал модели состоит из числовых акустических характеристик речи, таких как спектр, основная частота и продолжительность фразы. Во время синтеза обучаемая статистическая модель используется для сопоставления входных текстовых функций с речевыми функциями, которые затем используются для управления бэкэнд-процессом выбора звуковой единицы, где важны соответствующие интонации и длительность.
В отличие от front-end, бэкэнд в основном не зависит от языка. Он состоит из выбора нужных звуковых единиц и их конкатенации (то есть склейки) в фразу. Когда система обучается, записанные речевые данные сегментируются в отдельные речевые сегменты, используя принудительное выравнивание между записанной речью и сценарием записи (с использованием акустических моделей распознавания речи). Затем сегментированная речь используется для создания базы данных звуковых единиц. База данных дополнительно пополняется важной информацией, такой как лингвистический контекст и акустические характеристики каждой единицы. Используя построенную базу данных устройства и предсказанные интонационные функции, которые определяют процесс выбора, выполняется поиск Витерби (вверху - целевые фонемы, ниже - возможные звуковые блоки, красная линия - наилучшее их сочетание):
Выбор основан на двух критериях: во-первых, звуковые единицы должны иметь одну (целевую) интонацию, и, во-вторых, единицы должны быть, по возможности, объединены без слышимых сбоев на границах. Эти два критерия называются соответственно целевыми и конкатенационными расходами. Целевая стоимость - это разница между прогнозируемыми целевыми акустическими характеристиками и акустическими характеристиками, извлекаемыми из каждого блока, тогда как стоимость конкатенации представляет собой акустическую разницу между последующими единицами:
Скрытые марковские модели (СММ) обычно используются в качестве статистической модели для целевых прогнозов, поскольку они непосредственно моделируют распределения акустических параметров, и, таким образом, их можно легко использовать для вычисления целевой стоимости. Тем не менее, подходы, основанные на глубоком обучении, часто превосходят СММ в синтезе параметрической речи.
Целью системы TTS Сири является подготовка единой модели, основанной на глубоком обучении, которая может автоматически и точно прогнозировать как целевые, так и конкатенационные затраты для звуковых единиц в базе данных. Таким образом, вместо СММ использует смесь плотности сети (СПС, mixture density network) для прогнозирования распределений по определенным признакам. СПС объединяют обычные глубокие нейронные сети (ГНС) с гауссовскими моделями.
Обычный ГНС представляет собой искусственную нейронную сеть с несколькими скрытыми слоями нейронов между входным и выходным уровнями. Таким образом, ГНС может моделировать сложную и нелинейную зависимость между входными и выходными характеристиками. Напротив, СММ моделирует распределение вероятностей выходных данных с учетом входных данных с использованием набора гауссовых распределений, и обычно обучается с использованием метода максимизации ожидания. СПС сочетает преимущества ГНС и СММ, используя ГНС для моделирования сложной взаимосвязи между входными и выходными данными, но обеспечивая распределение вероятностей на выходе:
Для Siri используется унифицированная целевая и конкатенационная модели на основе СПС, которые могут прогнозировать распределение как целевых характеристик речи (спектра, высоты тона и продолжительности), так и стоимости конкатенации между звуковыми единицами. Иногда речевые особенности, такие как аффиксы, довольно стабильны и развиваются медленно - например, в случае гласных. В другом месте речь может изменяться довольно быстро - например, при переходе между озвученными и невокализованными звуками речи. Чтобы учитывать эту изменчивость, модель должна иметь возможность корректировать свои параметры в соответствии с вышеупомянутой изменчивостью. СПС делает это используя отклонения, встроенные в модель. Это важно для улучшения качества синтеза, поскольку мы хотим рассчитать целевые и конкатенационные издержки, характерные для текущего контекста.
После подсчета единиц на основе общей стоимости с использованием СПС выполняется традиционный поиск по Витерби, чтобы найти лучшее сочетание звуковых единиц. Затем они объединяются с использованием метода совпадения с перекрытием формы волны, чтобы найти оптимальные моменты времени конкатенации для создания плавной и непрерывной синтетической речи.
Итоги
Для использования СПС в Сири было записано как минимум 15 часов высококачественных речевых записей на частоте 48 кГц. Речь была разделена на фонемы с использованием принудительного выравнивания, то есть было применено автоматическое распознавание речи, чтобы выровнять входную звуковую последовательность с акустическими характеристиками, извлеченными из речевого сигнала. Этот процесс сегментации привел к созданию примерно 1-2 миллионов фонем.
Чтобы провести процесс отбора звуковых единиц на основе СПС была создана единая целевая и конкатенационная модели. Входные данные для СПС состоят в основном из двоичных значений с некоторыми дополнительными функциями, которые представляют собой информацию о контексте (по две предшествующих и следующих фонемы).
Качество новой системы TTS Сири превосходит предыдущую - это подтверждают многочисленные тесты на картинке ниже (интересно, что лучше всего оценили как раз новый русский голос Сири):
Лучшее качество звука связано как раз с базой данных на основе СПС - это обеспечивает лучший выбор и конкатенацию звуковых блоков, более высокую частоту дискретизации (22 кГц против 48 кГц) и улучшенное сжатие звука.
Прочесть оригинал статьи (требуется хорошее знание английского и физики), а также послушать, как менялся голос Сири в iOS 9, 10 и 11, можно .
