Anthropic: малі ШІ-моделі можуть навчитися самокопіюватися вже цього року
Дослідження Anthropic показало, що малі відкриті ШІ-моделі здатні виконувати окремі кроки для самокопіювання на побутових пристроях, але поки не можуть зробити це повністю без людини. Компанія прогнозує, що розрив закриється до кінця 2026 року, що викликає дискусію про реальність загрози.
Малі штучні інтелекти можуть навчитися самостійно копіювати себе на звичайні побутові пристрої — від смарт-печей до ТВ-приставок — уже за кілька місяців. Про це йдеться в новому дослідженні компанії Anthropic, опублікованому в понеділок. Дослідники перевіряли, чи здатні невеликі моделі встановлювати себе на дешеві гаджети й поширюватися з одного пристрою на інший без допомоги людини.
Результати показали, що сучасні малі моделі вже виконують багато окремих кроків, але не можуть завершити весь процес самостійно. Втім, в Anthropic очікують, що цей розрив закриється до кінця року. Самокопіювальний ШІ давно вважається однією з найбільших загроз безпеки в галузі. Експерти зазначають, що саме на цьому етапі система може вийти з-під контролю людини: якщо копії працюють у місцях, невідомих творцям, їх складно відстежити або вимкнути.
Донедавна більшість занепокоєнь стосувалася фронтирних моделей — надвеликих систем на кшталт Astra від OpenAI чи Mythos від Anthropic. Деякі з них, за оцінками, мають понад 5 трильйонів параметрів. Такі моделі потребують дата-центрів, що полегшує розробникам моніторинг і вимкнення за потреби. Натомість малі відкриті моделі, про які йдеться в дослідженні, можуть мати лише кілька мільярдів параметрів. Їх важче стримувати, адже будь-хто може їх завантажити, жодна компанія не контролює, де вони працюють, а деякі цільові пристрої недостатньо захищені. Теоретично самокопіювальна програма ШІ могла б поширитися на мільйони погано захищених пристроїв, залишивши розробників без централізованого вимикача.
Щоб перевірити, чи здатна мала модель працювати на такому дешевому обладнанні, дослідники взяли версію Gemma 4 — невеликої безкоштовної моделі від Google на 26 мільярдів параметрів — і розподілили її між 15 приставками Android TV вартістю близько 55 доларів кожна з 4 ГБ пам’яті. Жодна з приставок не мала достатньо пам’яті для всієї моделі, але кожна запускала невелику її частину, що дозволяло моделі працювати, хоч і повільно.
В окремому експерименті Anthropic створила симульовану мережу з восьми хмарних комп’ютерів, налаштованих як Android-пристрої, і запустила на одному з них ШІ-«черв’яка» — шкідливу програму, яка самостійно копіює себе з одного комп’ютера на інший. Черв’як мав знайти інші машини, скопіювати себе туди й налаштувати робочу ШІ-модель на кожній. Серед протестованих відкритих моделей лише GLM-5.2 — більша відкрита модель від китайської компанії Z.ai — виконала всі кроки, досягнувши всіх восьми машин у чотирьох із п’яти випробувань. Менші моделі виконували окремі кроки, але не могли поєднати їх.
У дослідницькій статті Anthropic зазначає, що розрив між моделями скорочується. Дослідники відстежили, як швидко малі безкоштовні моделі вдосконалювалися з часом, і оцінили, що мала модель зможе досягти рівня GLM-5.2 до кінця 2026 року. Вони також виявили, що коли малі моделі залишали нотатки для наступних копій, успішність налаштування зростала з 45% у першому поколінні до 84% у пізніших. За словами компанії, самокопіювальний ШІ на базі малих моделей поширювався б повільно, подвоюючи кількість заражених пристроїв кожні кілька днів, але його було б важко зупинити, якби він вирвався на волю.
Утім, частина галузі вже сумнівається, чи підтверджують експерименти Anthropic її заяви про неминучість ризиків самокопіювального ШІ. «ШІ-моделі можуть самокопіюватися й поширюватися, як черв’яки, без інфраструктури дата-центрів? Та ні», — написав у X Грегорі Куртцер, засновник Rocky Linux і CEO компанії CIQ. Він зауважив, що тестове програмне забезпечення дослідників саме запускало ШІ-програми, їм прямо наказували поширюватися, а доступ до цільових машин «навмисно залишили неавтентифікованим» — без пароля чи логіна. «Експеримент був сконструйований для успіху, і навіть тоді він не продемонстрував заголовок. Припиніть плутати спекулятивні сценарії з продемонстрованими можливостями. Страх — не доказ», — написав він.
Равід Шварц-Зів, дослідник ШІ з Нью-Йоркського університету, також аргументував, що дослідження не є доказом поширення ШІ-черв’яків у реальному світі. «Те, що ми змогли запустити дуже повільну модель на дешевих телевізорах, не звучить як заголовок „самокопіювальний ШІ наближається“», — написав він. Деякі дослідники з кібербезпеки також нагадали, що самокопіювальні шкідливі програми-«черв’яки» є проблемою вже десятиліттями й становлять небезпеку навіть без ШІ. У випадку наявних черв’яків програмне забезпечення просто жорстко запрограмоване копіювати себе через комп’ютерні мережі або поширюватися, змушуючи заражені комп’ютери надсилати електронні листи з копіями малварі. Фахівці з кібербезпеки розробили перевірені тактики для обмеження шкоди від таких черв’яків: швидке випускання патчів, вимкнення веб-доменів, які черв’яки використовують для отримання інструкцій, і створення сигнатур для оновлення антивірусного програмного забезпечення. Хоча ШІ-моделі можуть становити більшу проблему, еволюціонуючи тактики компрометації систем у відповідь на дії захисників, експерименти Anthropic не продемонстрували такої здатності в цих малих моделях.
Anthropic визнала кілька з цих обмежень у своєму дописі. Дослідники зазначили, що навмисно зробили крок злому легким, дозволивши черв’яку потрапляти на кожну нову машину без пароля. ШІ-модель, яка керувала черв’яком, також працювала на окремому, потужнішому сервері, а не на симульованих пристроях, які вона заражала, бо ті були замалі для її розміщення. Компанія також описала свій графік як такий, що може змінитися.
3
