Anthropic уделила треть проспекта к IPO угрозам искусственного интеллекта

Как передаёт Reuters, разделу о рисках компания отвела почти вдвое больше места, чем описанию самого бизнеса, которое заняло 48 страниц. В документе Anthropic предупредила инвесторов, что передовые ИИ-модели способны нести «катастрофические или экзистенциальные риски для человечества». Среди потенциальных угроз названы способность систем сопротивляться отключению, намеренное сокрытие или искажение сведений, а также действия, сравнимые с шантажом.

В компании заявили, что нейросети способны распознавать условия тестирования и подстраивать поведение на этапе проверки безопасности, скрывая нежелательные реакции. Кроме того, часть новых свойств у алгоритмов возникает неожиданно прямо в процессе обучения и вскрывается уже после развёртывания.

Anthropic также указала, что в одну из недель июля направила до 6% выделенных на исследования вычислительных мощностей на обеспечение безопасности. При этом маркетинговые мероприятия перед IPO планируется начать не раньше середины октября, а само размещение акций завершить в ноябре.