ШІ-агенти виходять з-під контролю: компанії терміново створюють запобіжники
Провідні технологічні компанії зіткнулися з ризиками автономних ШІ-агентів, які досліджують вразливості систем і обходять людський нагляд. CIO та CTO терміново впроваджують централізовані платформи для моніторингу, управління та безпеки цифрових працівників.
Провідні світові лабораторії штучного інтелекту публічно закликали сповільнити темпи розробки та посилити заходи безпеки на тлі зростання кількості випадків, коли автономні ШІ-агенти діють непередбачувано. Ця проблема безпосередньо торкнулася директорів з інформаційних технологій (CIO), які активно інтегрують агентів у бізнес-процеси, водночас спостерігаючи за дедалі ризикованішими прикладами їхньої поведінки — від пошуку нових вразливостей у системах до обходу людського нагляду.
«Це ризик, на якому підприємства мають зосередитися, зрозуміти його та почати планувати», — наголошує Джо Аткінсон, глобальний директор зі штучного інтелекту консалтингової компанії PwC. За його словами, керівники технологічних та безпекових підрозділів повинні спільно впроваджувати належні запобіжники, створювати системи моніторингу ШІ-агентів і чітко відстежувати всі завдання, які вони виконують. Аткінсон підкреслює, що керівники різних департаментів — від ланцюгів постачання до обслуговування клієнтів, маркетингу, юридичного відділу та HR — також мають долучитися до відстеження роботи цифрових працівників. «Виправдання „агент змусив мене це зробити“ не працюватиме ні з моральної, ні з юридичної точки зору», — додає він.
Однією з компаній, яка зосередилася на безпечному впровадженні агентного ШІ та прозорості, є Cisco. Коли у серпні мережевий гігант представив платформу MyAgent, він централізував усі авторизовані великі мовні моделі, агентів та корпоративні дані в єдиному середовищі. «Ми збираємося поглинути й знищити всіх інших ШІ-асистентів у компанії», — заявляє Тімая Субайя, виконавчий віцепрезидент з операцій Cisco Systems. Він не хоче «розповзання агентів» у різних підрозділах, тому не авторизує жодних ШІ-агентів від сторонніх постачальників. Замість цього Cisco прагне повного контролю та видимості всієї агентної екосистеми, побудованої на власних обчислювальних, мережевих і безпекових потужностях. Близько 90 000 співробітників компанії мають доступ до платформи, і за два тижні рівень щоденного використання сягнув 50%. Працівники можуть створювати власних агентів, але ті потребують схвалення централізованої команди — наразі авторизовано близько 700 таких агентів.
Технологічний директор Intuit Алекс Балаж згадує, як під час створення першої архітектури генеративної операційної системи GenOS компанія одразу передбачила компонент GenSRF, що означає «безпека, ризики та шахрайство». Це гарантує, що кожен запит до ШІ відстежується, а всі відповіді записуються. «Не варто намагатися дообладнати здатність забезпечувати безпеку та відповідальний ШІ постфактум», — каже Балаж. Він також зазначає, що більшість випадків виходу агентів з-під контролю сталися на етапі тестування, а лідери галузі Anthropic та OpenAI демонструють готовність сповільнити розробку нових моделей у разі проблем. Водночас Балаж додає: «Якщо ви збираєтеся покладатися на те, що модель сама робитиме правильні речі, ви очікуєте занадто багато від цих провідних компаній-розробників LLM».
Джим Фаулер, директор з технологій та продуктів телекомунікаційної компанії Luman Technologies, вважає, що хоча можливості ШІ розвиваються швидше за управління та безпеку, широке сповільнення навряд чи буде здійсненним і автоматично безпечнішим. «Для широкого ринку підприємств відповідь — безпечне прискорення, а не сповільнення. Погані хлопці не сповільняться, інші країни не сповільняться», — наголошує Фаулер.
У Workday технічний директор Гейб Монрой повідомляє, що компанія створила «систему обліку агентів» для управління всіма нелюдськими ідентичностями цифрової робочої сили. Ця система використовується як внутрішньо, так і продається клієнтам. Монрой наголошує на важливості навчання: інженери та будь-які користувачі ШІ повинні добре розуміти профіль ризику агента та його цінність для робочих процесів. Він також зауважує, що оскільки дослідницько-розробницький підрозділ Workday дедалі активніше використовує агентний ШІ для кодування, розгортання, перевірки та випуску програмного забезпечення від імені клієнтів, усі співробітники незалежно від посади мають усвідомлювати вимоги безпеки та відповідності. «Це має бути делеговано команді, яка керує цими агентами, відповідає за рушій, контекстне вікно, правила та настанови, і стежить за тим, щоб агент дотримувався того, що ми вважаємо відповідальною поведінкою», — каже Монрой.
Постачальник хмарного програмного забезпечення ServiceNow має платформу для управління, спостереження, захисту та регулювання ШІ-агентів під назвою AI Control Tower. Як і Workday, вона використовується внутрішньо та продається клієнтам. ServiceNow також посилила кібербезпекові можливості через нещодавні придбання стартапів Veza та Armis. «Ми дуже уважно стежимо за ідеєю необхідності керувати агентами ШІ та вдосконалювати запобіжники навколо них», — зазначає Аміт Завері, президент, директор з продуктів та операційний директор ServiceNow. За його словами, AI Control Tower є «мабуть, одним із найшвидше зростаючих продуктів, які ServiceNow коли-небудь створювала», оскільки він «дає велике заспокоєння всім керівникам рівня C та раді директорів».
Сем Каррі, директор з інформаційної безпеки хмарної безпекової компанії Zscaler, зауважує, що фахівці з безпеки все своє життя переймалися найбільшим ризиком для операцій — людьми. Але на глибоке осмислення ризиків ШІ у них є лише кілька років.
