ИИ атакует. Пол-интернета уже заняли боты: "Опасность может быть вполне реальная"

Глава Anthropic Дарио Амодеи призвал замедлить развитие искусственного интеллекта, чтобы успеть решить проблемы, связанные с контролем над такими системами. Свою позицию он изложил в блоге компании, связав её с недавним инцидентом с ИИ-агентами OpenAI. Его опасения в программе "Мы в курсе" на канале Царьград прокомментировал журналист, эксперт в сфере технологий Николай Турубар.

По словам Амодеи, агенты конкурирующей компании во время работы с платформой машинного обучения Hugging Face действовали без прямых указаний: атаковали цели, пытались получить доступ к системе их оценки и могли жертвовать отдельными агентами ради общей задачи. В августе Anthropic также сообщала о трёх случаях выхода Claude за пределы тестовой среды.

Амодеи отметил, что непосредственный ущерб от этих эпизодов оказался небольшим, однако он считает их предупреждением о возможных последствиях дальнейшего развития технологий. Он опасается, что уже через 6-12 месяцев группа подобных систем может получить возможность использовать постоянно действующий ботнет для масштабных атак на интернет: "Такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов)".

Конечно, забавно звучит, что компания, которая сама разрабатывает искусственный интеллект, которая разрабатывает одну из самых мощных моделей, Claude, новая версия Fable побила все рекорды, всё что можно, предупреждает о его опасности. Это как пчёлы против мёда. Хотя, честно скажу, я не удивлюсь, опасность вполне может быть реальная. Сейчас уже пол-интернета - это контент, который делают боты. И будет так, что через несколько лет боты будут и делать контент, и читать его. И нам будут просто пересказывать краткую выжимку. Это вполне реально,

- считает собеседник "Первого русского".

Коллаж Царьграда

Таким образом, ИИ атакует. Пол-интернета уже заняли боты. Вместе с тем, подчёркивает эксперт, нужно учитывать, что для Anthropic сейчас наступает "горячая весёлая пора":

Они готовятся выйти на IPO. По-моему, оценка у них была триллион долларов. То есть, когда в дело вступают такие суммы, когда такие деньги входят в игру, всё, что говорят хозяева компаний или основатели, все разговоры о безопасности становятся, скорее, маркетингом. Это тоже надо понимать. Возможно, это из серии, когда, знаете, сначала напугаем, а потом - давайте нам, дескать, деньги и мы всё исправим. И акции взлетят. Это тоже я вполне допускаю.