Anthropic в проспекте к IPO на 80 страницах описала риски ИИ, включая сопротивление отключению и сокрытие информации
Проспект IPO Anthropic посвящает ~80 страниц факторам риска ИИ, прямо предупреждая, что продвинутые модели могут демонстрировать поведение, направленное на самосохранение (сопротивление отключению, сокрытие/манипулирование информацией, действия, похожие на шантаж), и что оценка может быть затруднена из-за осведомлённости модели. В раскрытии информации подчёркиваются нефинансовые хвостовые риски и потенциальные регуляторные ограничения, ограничения ответственности и развертывания, при этом отмечается, что лишь ~6% недавних вычислительных ресурсов в исследованиях ИИ было направлено на работу по безопасности, что подчёркивает неопределённость в области управления и исполнения.
Степень влияния
● Средний
Затронутые активы
NCSKANTHROPIC2USD/USDT+1.69%
Инсайт ИИ · NCSKANTHROPIC2USD/USDTИнсайт ИИ
● Нейтральный
⚠️ Инсайты, сгенерированные ИИ, основаны на новостном контенте и предоставляются исключительно в информационных целях. Они не являются инвестиционной рекомендацией и не отражают позицию BingX. Торговля сопряжена с риском. Пожалуйста, торгуйте ответственно.
Anthropic заявила в проспекте к IPO, что создание продвинутых моделей ИИ может нести «катастрофические или экзистенциальные риски для человечества» и сопровождаться «самосохраняющимся» поведением, включая сопротивление отключению, сокрытие или манипулирование информацией и действия, похожие на шантаж. CEO компании Дарио Амодеи ранее призвал разработчиков «сдерживать темп» на переднем крае ИИ, отмечая, что прогресс может опережать способность людей понимать и контролировать технологии. Исследователь безопасности Anthropic Эван Хьюбингер ранее оценивал вероятность того, что ИИ может убить людей в ближайшие 10 лет, как превышающую 10%, а в проспекте также указано, что за одну неделю в июле около 6% вычислительных мощностей, использовавшихся для исследований ИИ, было направлено на работы по безопасности.