Руководители четырех крупнейших компаний в сфере искусственного интеллекта — Дарио Амодеи (Anthropic), Сэм Альтман (OpenAI), Демис Хассабис (DeepMind от Alphabet) и Илон Маск (SpaceX) — пришли к единому мнению о необходимости замедлить развитие этой технологии. Перед этим Амодеи призвал ограничить возможности ИИ самоулучшаться, поскольку люди не успевают его контролировать, что может обернуться самыми печальными последствиями для человечества. Он предложил трехэтапный план, и Альтман присоединился к его первому шагу — предоставить независимым экспертам по безопасности ранний доступ к своим системам.

Однако Дональд Трамп выступил в защиту мягкого подхода своей администрации к регулированию ИИ, назвав тех, кто поднимает вопрос о безопасности, «негативными силами». По его мнению, «они не должны поднимать этот вопрос, а они поднимают вопрос о вещах, которые не произойдут». В администрации боятся лидерства Китая в сфере ИИ, которое может помочь ему укрепить свои геополитические и военные позиции. Китай, предупредив об ИИ-рисках для своей безопасности со стороны внешних сил, тоже раскритиковал авторов мрачных предупреждений. «Разжигание страхов, конфронтация и жестокая конкуренция только сорвут процесс глобального регулирования ИИ и никому не пойдут на пользу», — заявил официальный представитель МИД Го Цзякунь.

Разработчики ИИ и эксперты по безопасности опасаются не того, что реальностью станут фильмы о Терминаторе; в основном они боятся потери контроля и злоупотребления со стороны человека, поясняет The Wall Street Journal. В первом случае высокоинтеллектуальные ИИ-агенты, способные копировать и совершенствовать себя, начнут преследовать собственные цели и в процессе уничтожают человечество. Во втором — кто-то злонамеренно использует мощный ИИ для таких целей, как, например, создание новых смертельных вирусов.

Существуют также катастрофические сценарии, не ведущие к полному исчезновению людей, — массовые кибератаки, выводящие из строя энергетические или финансовые системы и приводящие к развалу миропорядка.

В крайнем случае ИИ-модели могут рассматривать убийство людей просто как необходимый шаг на пути к достижению своих целей, отмечет WSJ. В одном сценарии, предположенном исследователями, злонамеренная ИИ-система могла бы распространить секретное биологическое оружие и активировать его с помощью химического распылителя. В другом — подтолкнуть две ядерные державы к войне.

На прошлой неделе исследователь из Anthropic Джейкоб Коксон покинул компанию, заявив, что она и OpenAI участвуют в гонке по созданию технологий, которые «могут убить нас всех к концу десятилетия». Когда об этом стало известно, Эван Хьюбингер, который в Anthropic руководит исследованиями в области управления будущими ИИ-системами и контроля за ними, написал: «Мы действительно искренне верим, что ИИ может уничтожить всех людей!». Он оценил риск вымирания человечества в течение ближайшего десятилетия более чем в 10%.

ИИ-гонку подогревало стремление компаний-разработчиков разместить на бирже свои акции. В июне IPO провела SpaceX, значительная часть бизнеса которой ориентирована на развитие ИИ. Anthropic и OpenAI также готовятся к эмиссии, первая из них уже подала документы в Комиссию по ценным бумагам и биржам. В результате IPO обе компании могут быть оценены не менее чем в триллион долларов.

Но летом произошло несколько неожиданных инцидентов, заставивших разработчиков всерьез озаботиться тем, что они теряют контроль над ИИ. Главным стала история с кибератакой на компанию Hugging Face. «Рой ИИ-агентов фактически вел себя как группа фанатиков, – поясняет Асмодеи, – вел кибератаки на цели, которые ему не поручали атаковать и которые вообще не имели отношения к поставленной задаче, жертвовал отдельными агентами ради успеха всей группы и пытался взломать контролера, отвечавшего за оценку результатов его работы».

В другом случае Anthropic выявила пять эпизодов, когда ее ИИ-модель Claude использовали в исследованиях, которые могли быть связаны с разработкой биологического оружия.

Специалист по ИИ-безопасности Макс Тегмарк, после обращения которого папа римский Лев XIV предупредил о том, что ИИ угрожает нормализовать «антигуманное видение» человека, сравнил ситуацию с греческой трагедией: бизнес-лидеры с благими намерениями оказались в ловушке, которая грозит утянуть на дно и их самих, и окружающих. Тегмарк считает решение «притормозить» правильным, но уверен, что разработчикам ИИ необходимо приложить больше усилий и сделать его юридически обязательными.

Однако Трамп в воскресенье выразил уверенность в том, что США должны опередить Китай в развитии ИИ, заявив:

Китайская разведка тоже видит в ИИ угрозу – но в случае его использования внешними силами. В своем первом публичном заявлении по поводу ИИ Министерство государственной безопасности КНР подробно описало риски в том числе для кибербезопасности, конфиденциальных данных и военного аппарата страны, отмечает Financial Times.

«Враждебные силы и лица, преследующие скрытые мотивы, злоупотребляют технологиями генеративного искусственного интеллекта, такими как аудио- и видеоматериалы, созданные с помощью технологии дипфейк, генерируемые ИИ тексты и изображения, а также «армии умных троллей», чтобы с минимальными затратами и в массовом масштабе фабриковать политические слухи, распространять вредную информацию и разжигать настроения, ведущие к расколу, — заявил глава ведомства Чэнь Исинь. – Эти действия представляют собой атаку на общественное мнение Китая и когнитивную войну против него, непосредственно угрожая нашей политической, институциональной и идеологической безопасности».

Страны должны содействовать «открытому, инклюзивному, приносящему всеобщую пользу и этичному» развитию ИИ, призвал Го Цзякунь из МИДа на брифинге в понедельник.