Гугл стверджує, що його чат-бот здатний спілкуватися майже як людина

Краще за Тея

Якщо ви коли-небудь намагалися поговорити з чат-ботом, ви знаєте, що навіть сучасні системи не є достатньо красномовними, регулярно видають безглузді або болісно загальні відповіді.

Тепер, однак, Google створив Meena, чат-бота, який, за його словами, краще, ніж будь-який інший, який він тестував — заява, яке компанія підтримує, використовуючи нову метрику, розроблену спеціально для вимірювання розмовних здібностей ШІ.

Розмова

Після створення Meena, процесу, детально описаного в статті, опублікованій на сервері препринтів arXiv, Google потрібен був спосіб оцінити чат-бота. З цією метою вона розробила щось, зване середнім значенням чутливості і специфічності (SSA).

Щоб обчислити цей показник, Google попросив робітників провести близько 100 бесід у вільній формі з Міною і декількома іншими чат-ботами з відкритим доменом. Кожен раз, коли чат-бот відповідав, робітник повинен був відповісти на два питання про відповідь.

По-перше, чи мало це логічний і контекстуальний зміст в розмові? Якщо так, тоді вони повинні були відповісти на питання: «Це було специфічно для розмови?». Це повинно було відсіяти будь-яких загальних відповіді — наприклад, якщо людина написала, що йому подобається теніс, а чат-робот відповів: «Це добре» Відповідь буде позначений як «не конкретний».

Майже людина

Google визначив, що середня людина досягне оцінки SSA 86 відсотків.

Інші чат-боти в дослідженні команди набрали від 31 до 56 відсотків. Міна, однак, набрала 79 відсотків — наблизивши ШІ до рівня спілкування, очікуваного від людини, ніж від іншого чат-бота.

Джерела: VentureBeat