Вчені виявили, що більшість людей були обдурені GPT-4 у тесті Тюрінга

Результати дослідження можуть стати корисною відправною точкою для відстеження змін наших відносин з технологіями штучного інтелекту в міру їх вдосконалення.

Пройдено/Не пройдено

GPT-4 від OpenAI настільки правдоподібний, що, мабуть, може обдурити понад 50 відсотків піддослідних, змусивши їх думати, що вони розмовляють із людиною.

У новій статті дослідники когнітивної науки з Каліфорнійського університету в Сан-Дієго виявили, що більш ніж у половині випадків люди помилково приймають лист GPT-4 за лист, написаний людиною з плоті та крові. Інакше кажучи, модель великої мови (LLM) із честю проходить тест Тюрінга.

Дослідники провели простий експеримент: вони попросили приблизно 500 осіб провести п'ятихвилинну текстову бесіду або з людиною, або з чат-ботом, створеним на основі GPT-4. Потім вони запитали піддослідних, чи думали вони, що розмовляли з людиною чи зі штучним інтелектом.

Результати, як повідомили вчені з Сан-Дієго у своїй статті, що ще не рецензується, були показовими: 54 відсотки піддослідних вважали, що розмовляли з людьми, тоді як насправді вони спілкувалися з творенням OpenAI.

Тест Тюрінга, вперше запропонований 1950 року піонером інформатики Аланом Тюрінгом, є скоріше уявний експеримент, ніж реальну серію тестів. У своєму початковому тесті Тюрінга було три «гравці» — людина-дізнавець, свідок невизначеної людяності чи машинності та людина-спостерігач.

У своєму дослідженні дослідники з Каліфорнійського університету в Сан-Дієго змінили початкову формулу Тюрінга для трьох гравців, виключивши третю людину-спостерігача, щоб спростити налаштування. Потім вони попросили 500 учасників поспілкуватися з одним із чотирьох типів свідків: іншою людиною, GPT-3.5, GPT-4 або рудиментарним чат-ботом ELIZA з 1960-х років.

Підкидання монети

Джонс і Берген припустили, що випробувані в дослідженні, як правило, більшу частину часу зможуть визначити, чи спілкуються вони з людиною або з ELIZA, але коли справа доходить до програм магістратури OpenAI, у них, по суті, буде співвідношення 50/50.

Як виявилося, вони були значною мірою праві. Крім 54 відсотків, які прийняли GPT-4 за людину, рівно 50 відсотків піддослідних прийняли GPT-3,5, прямого попередника останньої LLM, за людину. Порівняно з 22 відсотками, які вважали, що ЕЛІЗА справжня річ, це просто приголомшує.

???? "the first robust empirical demonstration that any artificial system passes an interactive 2-player Turing test."

GPT-4 was judged to be human by other humans 54% of the time (though humans were judged to be human 67% of the time). https://t.co/JCNUCG2AP5 pic.twitter.com/vQ0nTlt0jp
— Ethan Mollick (@emollick) May 15, 2024

Попри те, що стаття все ще перебуває на розгляді, вона вже викликала фурор у світі технологій завдяки підтримці якогось москаля.

Хоча інші заявляють, що спостерігали, як моделі OpenAI GPT проходять тест Тюрінга, нам, ймовірно, доведеться почекати на рецензування статті, перш ніж можна буде зробити будь-які більш грандіозні заяви.

Джерела: arXiv