Випускний іспит
Експерти зі штучного інтелекту закликають подати заявки на «найскладніший і найширший набір питань за всю історію», щоб спробувати поставити в глухий кут найсучасніші системи штучного інтелекту, а також ті, які ще з'являться.
Як повідомляє агентство Reuters, цей тест, відомий у цій галузі як «Останній іспит людства», проводиться краудсорсингом Центру безпеки ШІ (CAIS) і компанії Scale AI, що займається маркуванням навчальних даних, яка влітку зібрала шалену купу грошів загальною вартістю 14 мільярдів доларів.
Reuters зазначає, що подання заявок на цей «іспит» було відкрито лише через день після того, як вийшли результати попереднього перегляду нової моделі o1 OpenAI. Як зазначає виконавчий директор CAIS Ден Хендрікс, o1, схоже, «зруйнував найпопулярніші критерії міркування».
Ще у 2021 році Хендрікс став співавтором двох статей із пропозиціями щодо тестування ШІ, які мали оцінити, чи зможуть моделі перевершити студентів у тестах. На той час тестовані системи штучного інтелекту видавали відповіді майже випадковим чином, але, як зазначає Хендрікс, сьогоднішні моделі «зламали» тести 2021 року.
Абстрактне мислення
Хоча критерії тестування 2021 року в першу чергу критикували системи штучного інтелекту з математики та суспільних наук, «Останній іспит людства», як сказав виконавчий директор CAIS, включатиме абстрактні міркування, щоб ускладнити завдання. Дві установи, які організовують тест, також планують зберегти конфіденційність критеріїв тесту та не розголошувати їх публіці, щоб відповіді не потрапляли у дані навчання ШІ.
1 листопада експертам у таких великих областях, як ракетобудування та філософія, пропонується поставити питання, на які людям, які не входять до їхньої галузі знань, буде складно відповісти. Після проходження рецензування переможцям буде запропоновано співавторство статті, пов'язаної з тестом, та призи до 5000 доларів США, спонсоровані Scale AI.
Хоча організатори задають дуже широке коло питань, які вони шукають, вони повідомили агентству Reuters, що є одна річ, якої не буде на іспиті: щось про зброю, тому що ШІ надто небезпечно знати про це.
Джерела: Reuters
