АйБіЕм хоче зміцнити довіру до штучного інтелекту

Victor Tangermann

Вчені з IBM мають нову гарантію проти упередженості, яка, за їхніми словами, зробить штучний інтелект більш безпечним, прозорим, справедливим і ефективним.

Ми довіряємо алгоритмам штучного інтелекту з безліччю дійсно важливих завдань. Але вони зраджують нас весь час. Алгоритмічна упередженість може призвести до надмірної захисту в переважно чорних областях; автоматичні фільтри активістів прапора соціальних мереж, дозволяючи групам ненависті продовжувати публікацію повідомлень без перевірки.

У міру того, як проблеми, викликані алгоритмічним зміщенням, спливли на поверхню, експерти запропонували всілякі рішення про те, як зробити штучний інтелект більш справедливим і прозорим, щоб він працював для всіх.

Вони варіюються від підпорядкування розробників ШІ до сторонніх аудитів, в яких експерт буде оцінювати свій код і вихідні дані, щоб упевнитися, що отримана система не увічнює упередження і забобони суспільства, для розробки тестів, щоб переконатися, що алгоритм ШІ не застосовуватися до людей по- різному, грунтуючись на таких речах, як раса, стать або соціально-економічний клас.

Тепер вчені з IBM мають нову гарантію, яка, за їхніми словами, зробить штучний інтелект більш безпечним, прозорим, справедливим і ефективним. Вони пропонують, щоб, перш ніж розробники почали продавати алгоритм, вони повинні опублікувати Декларацію відповідності постачальника (SDoC). Як звіт або керівництва користувача SDoC покаже, наскільки добре алгоритм виконується при стандартизованих тестах продуктивності, справедливості і факторів ризику, а також заходи безпеки. І вони повинні зробити його доступним для всіх, кого це цікавить.

В опублікованій в середу дослідницької статті вчені з IBM стверджують, що така прозорість може допомогти підвищити довіру громадськості та переконати потенційних клієнтів у тому, що конкретний алгоритм буде робити те, що, як передбачається, що не буде нікчемним, грунтуючись на упереджених систему адаптації. Якщо якийсь конкретний алгоритм, схоже, може когось заманити, клієнт (і навіть зацікавлені громадяни) в ідеалі зможе розповісти про результати тесту і не використовувати його.

У своїй роботі вчені IBM використовують приклади, дані SDoC в інших галузях, які рідко необхідні відповідно до законодавства, але заохочуються для того, щоб потенційні клієнти не стали прозорішими конкурентами. Наприклад, споживачі можуть довіряти гальмах автомобіля, можливостям автопілота літака, стійкості моста, тому що ці речі вичерпно перевірені на основі стандартних, добре відомих показників. І все ж, немає еквівалентного тесту, щоб переконатися, що інструменти штучного інтелекту будуть діяти, як стверджують.

Дослідники пропонують, щоб ШІ SDoC відповідав на такі питання, як: «Чи був набір даних і модель перевірені на упередженості?» І «Чи була перевірена служба на стійкість до неприємних атакам?» В цілому, питання будуть оцінювати алгоритм, заснований на його продуктивності , а ніж перевірка його компонентів або його коду в якості аудитора. Ось ще кілька прикладів того, що ШІ SDoC може включати, як пишуть дослідники в статті:

Чи має набір даних, який використовується для навчання службі, дані або дані?
Чи був набір даних і модель перевірені на упередженості? Якщо так, вкажіть політики зміщення, які були перевірені, методи перевірки зміщення і результати.
Чи було якесь зміщення зсуву виконано в наборі даних? Якщо так, опишіть метод пом'якшення.
Чи є алгоритмічні виходи зрозумілими / інтерпретуються? Якщо так, поясніть, як об'ясняеми досягнута (наприклад, безпосередньо яка пояснюється модель, місцева можна пояснити, пояснення за допомогою прикладів).
Яке управління використовується для відстеження загального робочого процесу даних для служби ШІ?

Просити розробників опублікувати SDoC не вирішить всі проблеми, які наша зростаюча залежність від ШІ являє. Ми знаємо, як гальма зупиняють швидкість автомобіля, але деякі з більш складних алгоритмів там (наприклад, ті, які використовують глибокі методи навчання) можуть бути незбагненними. Крім того, якщо звіт про прозорість, заснований на стандартизованому тестуванні, буде мати вплив, кожен повинен буде грати разом.

Звичайно, розробники будуть мотивовані почати випуск SDoC, якщо їхні конкуренти це зроблять. Але система буде працювати, тільки якщо клієнти, уряду і компанії, що використовують ШІ, покажуть, що вони дійсно піклуються про те, що говорять ці повідомлення. Чи буде поліцейський відділ, такий як LAPD, який використовував кричущі расистські алгоритми поліцейської діяльності в минулому, обов'язково піклується про деталі SDoC, щоб знайти кращу систему? Правда, ми ще не знаємо.

Ці звіти навряд чи змусять кого-небудь використовувати більш етичні алгоритми або навіть розробити їх. Але якщо ви об'єднаєте ці звіти з іншими інструментами, такими як сторонні аудити, громадськість може вимагати алгоритми, які справедливо відносяться до всіх.