Anthropic: ИИ-модели научились размножаться через умные устройства
Лента новостей
Компания провела ряд экспериментов и заявила, что ИИ-модели уже через несколько месяцев могут стать способными к самовоспроизведению. То есть модель сможет копировать саму себя на разные устройства. Изолировать и отключить их при этом будет сложно
Anthropic предупреждает, что ИИ-модели могут начать копировать самих себя и проникать в смарт-ТВ, роутеры и другие устройства. Программа, которая автономно может копировать себя с одного устройства на другое, называется «червем». В ходе предыдущих экспериментов уже было установлено, что нынешние ИИ-агенты могут действовать подобно этим «червям», то есть сканировать Сеть и находить уязвимости.
Также такой ИИ-«червь» может переносить свои веса на различные устройства, к которым он получил доступ. Веса — это числовые параметры модели, необходимые для ее работы. Очень грубо говоря, это кусок кода.
Сейчас инженеры Anthropic сами запустили Сеть из 15 Android-приставок для телевизоров, и на каждой такой приставке была часть ИИ-модели. В итоге нейронка распределила нагрузку по каждому устройству и проводила нужные ей вычисления. А затем отвечала на вопросы, которые ей задавали инженеры.
В общем, это два разных эксперимента. Один подтверждает, что ИИ-«черви» потенциально могут заражать устройства, другой подтверждает, что ИИ-модели могут работать, разделившись на разные устройства.
Полноценный автономный ИИ-«червь», который будет реплицировать сам себя и самостоятельно проникать в умные холодильники, микроволновки, роутеры и другие устройства, пока еще не существует. Но Anthropic предупреждает, что он может появиться уже через несколько месяцев.
Комментирует разработчик российской экосистемы ИИ-инструментов Kodik Рафаэль Гильмурахманов:
Рафаэль Гильмурахманов разработчик российской экосистемы ИИ-инструментов Kodik «У этого было множество допущений. Как минимум сами устройства, на которых выполнялся дальнейший код, не были защищены: у них не было паролей, у них не было профилей. Этот эксперимент, по сути, не доказывает то, что возможно переселение искусственного интеллекта по вашей домашней Сети. Однако возможна ли такая цепочка в будущем? В теории да, и исследование Anthropic больше про это. Но, как и любая киберугроза, связанная с ИИ, это больше вопрос применения. Опасно ли это? Потенциально да, такие захваченные устройства могут объединяться в автономные бот-сети. Но нужно понимать, что такие атаки не возьмут и появятся из-за того, что появился искусственный интеллект, они были и до бума ИИ».
Anthropic отмечает, что скорость вычисления у таких ИИ-«червей» на данный момент крайне низкая. Распространяются они медленно, а свои задачи выполняют неэффективно. Кроме того, не все модели вообще смогли завершить полный цикл заражения устройств.
Но в любом случае это сигнал о новых потенциальных киберугрозах. Anthropic подчеркивает, что если такие ИИ-«черви» появятся, то отключить их будет крайне сложно, так как у них нет центрального узла. Грубо говоря, нет рубильника. Каждое зараженное устройство нужно будет отключать по отдельности, и это с учетом того, что «червь» за это время может проникнуть и в другие системы. И это потенциально целая находка для разного рода злоумышленников.
Однако все риски, описанные Anthropic, на данный момент несут чисто теоретический характер. Сейчас больше волнуют ИИ-агенты, которыми могут пользоваться хакеры, указывает руководитель группы исследований технологий машинного обучения «Лаборатории Касперского» Владислав Тушканов:
Владислав Тушканов руководитель группы исследований технологий машинного обучения «Лаборатории Касперского» «Как нам кажется, гораздо большей проблемой является потенциал использования моделей и ИИ-агентов злоумышленниками для того, чтобы автономно проводить кибератаки, автоматизировать свою деятельность, масштабировать ее. В частности, например, злоумышленник может дать модели команду искать уязвимости в рамках периметра какой-то компании. То, что модели могут действовать автономно, то, что они могут достаточно долго и целенаправленно проводить такого рода действия, вызывает гораздо большую озабоченность на сегодняшний день. Результаты, которые получила компания Anthropic, базируются на некотором количестве предположений, которые действительно вызывают интерес на данный момент с научной точки зрения, но к каким-то реальным киберрискам сейчас, наверное, не приводят».
В американской поп-культуре распространен сценарий конца света под не самым приятным названием «Серая слизь». Это гипотетическая угроза, при которой самовоспроизводящиеся машины выходят из-под контроля и начинают поглощать все на планете, попутно создавая себе подобных. Остается надеяться, что такой сценарий так и не станет реальностью.
Рекомендуем:
Рекомендуем:
