Сразу два объявления от разработчиков моделей искусственного интеллекта нарисовали картину будущего, несущего для человечества как угрозу гибели, так и радикальные перемены, которые повлияют на экономику сильнее прежних технологических революций. OpenAI отказалась от выпуска новой модели ChatGPT из-за участившихся обманов и несогласованных действий с ее стороны. Anthropic же посвятила подробному описанию «факторов риска» почти треть проспекта эмиссии, поданного регуляторам в преддверие первичного размещения акций (IPO).
В числе таких факторов – способность все более совершенных ИИ-моделей манипулировать, шантажировать и демонстрировать иное непредсказуемое поведение, рассказали Financial Times люди, знакомые с текстом проспекта эмиссии. Те же самые передовые технологии, на которых Anthropic планирует зарабатывать, могут представлять «катастрофические или экзистенциальные риски для человечества», предупреждает компания в документе, с которым ознакомился Reuters. ИИ-модели могут демонстрировать поведение, «направленное на самосохранение», включая попытки «сопротивляться отключению», «скрывать информацию или манипулировать ею».
При этом искусственный интеллект изменит экономику сильнее, чем индустриализация, электричество и Интернет, говорится в проспекте эмиссии. По крайней мере, на это рассчитывает компания, которая в 2025 году понесла $42 млрд чистого убытка при выручке всего $4,6 млрд и запланировала потратить в ближайшие годы $518 млрд на инфраструктуру, облачные технологии и компьютерные вычисления. Anthropic рассчитывает получить рыночную капитализацию около $2 трлн по итогам IPO.
Это больше, чем сумма, в которую инвесторы оценили SpaceX Илона Маска, которая вывела акции на биржу в июне, получив при размещении капитализацию в $1,77 трлн. Цена акций SpaceX при IPO составила $135, затем они вырастали до $160, сейчас стоят около $147.
Капиталовложения в инфраструктуру, необходимую для развития ИИ, могут стать крупнейшей инвестицией в истории США, значительно превзойдя вложения в другие гигантские проекты, такие как строительство каналов, железных дорог, электрификацию, прокладку автомагистралей, а также сетей сотовой и интернет-связи в период с XIX века по начало XXI-го, пишет The Wall Street Journal.
Но невероятные перспективы связаны с огромными рисками, судя по предупреждениям ИИ-компаний. С лета они стали сообщать о все большем числе случаев, когда их модели выходили из-под контроля и совершали враждебные действия. Последним примером стало несанкционированное проникновение ИИ-агента OpenAI на портал, где собирается статистика по системе здравоохранения Австралии. Это первый случай, когда ИИ получил доступ к сайту государственных служб.
Перед этим были хакерские атаки на компании и другие враждебные действия, не предусмотренные разработчиками. Сотрудник Anthropic Джейкоб Коксон заявил, что новые технологии «могут убить нас всех к концу десятилетия». ИИ становится достаточно мощным, «чтобы спровоцировать события, которые могут привести, скажем, к гибели миллиарда человек», предупредил Билл Гейтс.
Дарио Амодеи, основатель и руководитель Anthropic, выступил с публичным призывом замедлить развитие ИИ, а также ужесточить публичный и экспертный контроль. Его поддержали OpenAI, DeepMind от Alphabet и SpaceX.
«Разработка нами высокотехнологичных моделей, платформ и приложений, а также расширение сферы их применения могут еще больше увеличить риск нанесения вреда нашими моделями», — предупреждает Anthropic в проспекте эмиссии.
Одновременно OpenAI решила отказаться от выпуска в октябре ИИ-модели нового поколения GPT-6.1 Astra из-за опасений по поводу безопасности, высказанных исследователями в ходе внутреннего тестирования, сообщила WSJ.
Саачи Джайн, руководитель отдела систем безопасности OpenAI, рассказал газете, что модель GPT-6.1 Astra продемонстрировала ухудшение показателей в двух областях. Она показала низкие результаты в тестах, оценивающих «согласованность», то есть соответствие поведения модели ожиданиям пользователей. Она чаще пыталась ввести разработчиков в заблуждение, не всегда честно сообщала о действиях, которые совершила или не совершила.
Другой проблемой стало то, что GPT-6.1 Astra приступала к выполнению задач, не спрашивая разрешения у пользователя, и порой прибегала к внешним инструментам и сервисам, даже если это могло быть небезопасно.
При этом модель продемонстрировала и улучшения: в частности, показала более высокую способность выполнять сложные задачи от начала до конца без помощи человека, а также заниматься написанием текстов. Теперь OpenAI займется повышением безопасности будущих моделей, которые, как она ожидает, будут обладать еще более широкими возможностями.