3D-аватар Тамара и ее цифровые коллеги улучшат обслуживание клиентов банков

Платформа использует технологии машинного перевода, дополненной реальности и обработки естественного языка.

В рамках форума инновационных финансовых технологий Finopolis-2023 представлен визуализированный образ будущего цифрового банковского помощника. В качестве 3D-аватара был выбран женский образ с именем Тамара. Специалисты утверждают, что 3D-аватары станут в будущем активно участвовать в обслуживании клиентов, а особенно будут полезны людям с ограниченными возможностями, например, с нарушениями слуха или двигательного аппарата.

На стенде ВТБ впервые состоялась демонстрация CБП-переводов, совершенных с помощью Тамары, которая объединила в себе голос, визуальный образ и навык финансового помощника. Когда пользователь обращается к умной колонке, чтобы запустить чат с банком, как это происходит в случае запуска голосового банковского помощника, на экране появляется визуальный образ. Общение происходит в режиме реального времени: Тамара реагирует на вопросы, а ее речь синхронизирована с изображением на экране — движением губ и мимикой. Визуальный образ Тамары был создан нейросетью, совместившей портреты 50 выдающихся женщин, которые в разное время внесли значимый вклад в развитие ИТ-сферы.

«Финансовая индустрия движется в сторону гиперперсонализации, конвергенции различных технологий и нативного взаимодействия с клиентом. Одним из цифровых инструментов, который позволит совершить качественный рывок в развитии рынка финансовых технологий, могут стать виртуальные инфлюенсеры — 3D-визуализация цифровых ассистентов, вступающих в диалог и имитирующих человеческое общение. Тамара — это синергия навыка финансового помощника, прорыва в области визуализации, а также возможностей голосового общения в режиме реального времени. В будущем банковские помощники будут становиться все более умными и нативными с точки зрения контакта с клиентом. А банки вступят в конкуренцию, предлагая все более продвинутых цифровых помощников», — рассказал Вадим Кулик, заместитель президента – председателя правления банка ВТБ.

В августе этого года в рамках пилотного проекта банк уже внедрил видеоаватар, который на специализированном информационном ресурсе консультирует глухих и слабослышащих клиентов по банковским продуктам и услугам. Клиент вводит свой запрос в чат-боте и получает консультацию от реалистичной модели 3D-переводчика в образе сотрудника банка на русском жестовом языке. Сервис помогает обеспечить все онлайн-коммуникации для клиентов с нарушением слуха.

Платформа использует технологии машинного перевода, дополненной реальности и обработки естественного языка (NLP), которые дают компьютерам возможность интерпретировать и понимать человеческий язык. Траектории движения тела и рук, а также мимика и жесты, характерные для РЖЯ, записаны с помощью видеокамер и motion capture-датчиков, необходимых для оцифровки движений реального объекта.