Новий ШІ має майже таке ж розуміння читання, як у старшокласника
Компанія DeepMind, що займається дослідженнями штучного інтелекту, представила наступне покоління своєї мовної моделі та стверджує, що вона близька до розуміння прочитаного старшокласником – разюча заява.
У ньому йдеться про те, що мовна модель під назвою Gopher змогла значно покращити розуміння прочитаного шляхом використання величезних сховищ текстів в Інтернеті.
DeepMind може похвалитися тим, що його алгоритм, «надвелика мовна модель», має 280 мільярдів параметрів, які є мірою розміру та складності. Це означає, що він знаходиться десь між OpenAI GPT-3 (175 мільярдів параметрів) та Microsoft та NVIDIA Megatron, який має 530 мільярдів параметрів, зазначає The Verge.
Така система може дозволити нам «безпечно та ефективно узагальнювати інформацію, давати поради експертів та дотримуватися інструкцій природною мовою», йдеться у заяві.
Згідно з доповіддю DeepMind, під час тесту модель змогла набрати досить високі бали у тесті на розуміння прочитаного у середній школі, щоб наблизитись до результатів на людському рівні. Однак його математичні та логічні здібності залишали бажати кращого, показуючи «менше покращення».
Чим більше параметрів, тим точніше, взагалі кажучи. Але є й інші проблеми, такі як розуміння прочитаного або збереження шкідливих стереотипів, які важче подолати, попри величезний розмір моделей.
Такі алгоритми, як Gopher, використовувалися у минулому для комерційних продуктів, таких як цифрові помічники та перекладачі. Згідно з DeepMind, під час тесту Gopher зміг вести повноцінний діалог із людиною з «дивовижним» рівнем узгодженості.
Але DeepMind не прагне комерціалізувати свій алгоритм.
«Наразі це не в центрі уваги», — сказав Fortune Корай Кавуккуогло, віцепрезидент DeepMind із досліджень.
У спробі випередити критику щодо того, що його алгоритм викидає етнічні або гендерні стереотипи — найчастіше це продукт текстів, які згодовувалися цим алгоритмам, — DeepMind опублікував супровідний документ про кроки, вжиті дослідниками для підтримки етичної цілісності.
Наприклад, команда створила інструмент під назвою Retrieval-Enhanced Transformer, величезну базу даних із двох трильйонів слів для перехресних посилань на її джерела.
Але навіть тоді команда DeepMind визнала, що дослідження того, як мовні моделі закріплюють шкідливі стереотипи, «все ще перебуває на початковій стадії».
У міру того, як інструменти ШІ стають все кращими й кращими при інтерпретації тексту, дослідники все частіше звертаються до більш складних проблем, таких як можливість поширення дезінформації або пропаганди.
Навіть з урахуванням всіх текстів в Інтернеті, допомогти мовним моделям, таким як Gopher, читати між рядками, виявляється набагато складніше, ніж хочуть визнавати багато дослідників ШІ.
Джерела: Fortune
