ВТБ разработал будущий 3D-образ своего голосового помощника

На стенде ВТБ впервые состоялась демонстрация СБП-переводов, совершенных с помощью Тамары, которая объединила в себе голос, визуальный образ и навык финансового помощника.

Прототип будущего помощника был представлен на стенде форума. Когда пользователь обращается к умной колонке, чтобы запустить чат с ВТБ, как это происходит в случае запуска голосового банковского помощника, на экране появляется визуальный образ. Общение происходит в режиме реального времени: Тамара реагирует на вопросы, а ее речь синхронизирована с изображением на экране — движением губ и мимикой. Визуальный образ Тамары был создан нейросетью, совместившей портреты 50 выдающихся женщин, которые в разное время внесли значимый вклад в развитие ИТ-сферы.

В настоящее время клиентам ВТБ уже доступен голосовой ассистент Лео в мобильном приложении банка, на умных устройствах с Алисой от Яндекса и в Яндекс.Станциях. В перспективе банк не исключает возможности использования нескольких персонажей, чтобы у клиентов была возможность выбора.

«Финансовая индустрия движется в сторону гиперперсонализации, конвергенции различных технологий и нативного взаимодействия с клиентом. Одним из цифровых инструментов, который позволит совершить качественный рывок в развитии рынка финансовых технологий, могут стать виртуальные инфлюенсеры — 3D-визуализация цифровых ассистентов, вступающих в диалог и имитирующих человеческое общение. Сегодня мы делаем первые шаги к тому, чтобы у голосового помощника ВТБ появился визуальный образ, доступный нашим клиентам. Тамара — это синергия навыка финансового помощника, прорыва в области визуализации, а также возможностей голосового общения в режиме реального времени. В будущем банковские помощники будут становиться все более умными и нативными с точки зрения контакта с клиентом. А банки вступят в конкуренцию, предлагая все более продвинутых цифровых помощников», — рассказал Вадим Кулик, заместитель президента — председателя правления банка ВТБ.

«Несмотря на проактивное развитие технологий и масштабную цифровизацию, которые позволяют решать все вопросы 24/7 из любой точки мира в „автономном режиме“, даже в каналах самообслуживания мы видим растущий спрос на привычное общение. Чтобы создать максимально удобные условия для использования наших сервисов для всех категорий клиентов, мы постоянно работаем над развитием голосового, а теперь и визуального консультанта. В этом году для клиентов с нарушением слуха в тестовом режиме был внедрен видеоаватар, который консультирует пользователей по банковским услугам и сервисам на русском жестовом языке. В перспективе 3D-аватар Тамары может появиться в приложении ВТБ Онлайн и в офисах банка для консультирования клиентов», — прокомментировал заместитель президента-председателя правления ВТБ Георгий Горшков.

В августе этого года в рамках пилотного проекта банк ВТБ уже внедрил видеоаватар, который на специализированном информационном ресурсе консультирует глухих и слабослышащих клиентов по банковским продуктам и услугам. Клиент вводит свой запрос в чат-боте и получает консультацию от реалистичной модели 3D-переводчика в образе сотрудника ВТБ на русском жестовом языке. Сервис помогает обеспечить все онлайн-коммуникации для клиентов с нарушением слуха.

Платформа использует технологии машинного перевода, дополненной реальности и обработки естественного языка (NLP), которые дают компьютерам возможность интерпретировать и понимать человеческий язык. Траектории движения тела и рук, а также мимика и жесты, характерные для РЖЯ, записаны с помощью видеокамер и motion capture-датчиков, необходимых для оцифровки движений реального объекта.