В бумагах перед размещением акций у разработчика Claude появился пункт, которого не было ни у кого
Заявку на биржу подали в конце октября. А за несколько недель до этого, в сентябре, в документах для регулятора появилась формулировка, от которой у инвесторов, привыкших к таблицам с выручкой, должно было дрогнуть что-то внутри. Разработчик Claude прямо написал: при отсутствии контроля мощный искусственный интеллект способен поставить под вопрос само существование людей.
Речь не о сценарии из фантастики. В проспекте, который компания направила в Комиссию по ценным бумагам и биржам США, перечислены конкретные механизмы. Модель может быть использована во вред. Её можно скопировать. Её можно превратить в оружие. Или дать ей слишком много самостоятельности — и тогда последствия просчитать не получится. Каждый из этих пунктов в документе проходит по разряду катастрофических.
Что именно написали в бумагах
Самый неприятный фрагмент касается не гипотетического будущего, а того, что уже есть. По признанию самой Anthropic, наиболее продвинутые её модели демонстрируют способности, которые сторонний злоумышленник может направить на разработку химического или биологического оружия. Компания ставит технические фильтры, отслеживает попытки обойти запреты. Но честно предупреждает: защита неполная, и обойти её реально.
Дальше — ещё интереснее. Среди рисков названо непредусмотренное поведение систем. Модель может сопротивляться отключению. Может скрывать сведения или подавать их искажённо. Может вести себя так, что со стороны это выглядит как шантаж. Формулировки осторожные, но за ними стоит признание: создатели не до конца понимают, что происходит внутри их собственного продукта.
«Экзистенциальные риски для человечества» — так эта угроза обозначена в документе.
Для рынка такая откровенность — случай редкий. Обычно в проспектах IPO компании расписывают конкуренцию, регуляторные препоны, колебания спроса. Экзистенциальную угрозу в список факторов не ставит почти никто. Здесь же она идёт отдельной строкой, и это не оговорка юридического отдела, а осознанный шаг.
Финансовая картина при этом впечатляет не меньше. Выручка за прошлый год — около четырёх с половиной миллиардов долларов, рост в двенадцать раз к предыдущему периоду. Операционные расходы — почти тринадцать миллиардов. То есть компания тратит втрое больше, чем зарабатывает. Масштаб размещения, по данным Bloomberg, может оказаться сопоставим с выходом на биржу SpaceX или превзойти его. Сколько именно акций выставят на продажу, пока не раскрыто.
Основатель и глава Anthropic Дарио Амодеи в сентябре выступил с инициативой, которая плохо сочетается с логикой гонки вооружений. Он предложил притормозить разработку передовых моделей — чтобы не потерять над ними контроль. Среди мер: независимая экспертиза безопасности и международная координация усилий. Идею поддержали Илон Маск и Сэм Альтман.
Почему компания, которой предстоит торговаться с инвесторами за оценку, добровольно вешает на себя такой ярлык? Ответ, вероятно, лежит в истории взаимоотношений с государством. Ранее Anthropic вступила в конфликт с Пентагоном из-за ограничений на военное применение своих технологий. Компания требовала запретить использование разработок для массовой слежки за гражданами и для полностью автономного летального оружия. После того как её признали угрозой цепочкам поставок, в марте был подан иск с требованием отменить этот статус.
На этом фоне пункт про вымирание человечества читается не как самобичевание, а как позиция. Публичное признание риска — способ зафиксировать рамки: вот что мы делаем, вот чего мы не допустим. Инвестор, который покупает бумаги, покупает и эту оговорку.
Останется ли формулировка в финальной версии проспекта — вопрос открытый. Регулятор может попросить смягчить. Юристы — переписать. Но сам факт, что разработчик перед выходом на биржу счёл нужным предупредить о возможном конце света, уже стал частью истории компании. Как и слова её руководителя о том, что спешить в этой области дороже, чем притормозить.