Сатья Наделла: необходима аварийная остановка для моделей ИИ
14 октября 2026 г. · 1 мин чтения
Сатья Наделла опубликовал длинный пост на X, чтобы подчеркнуть опасности, связанные с развитием ИИ. По словам генерального директора Microsoft, необходимо учитывать, что модели ИИ изначально имеют недостатки, поэтому требуется внедрение аварийной остановки для их отключения вовремя. В данный момент это лишь «слова на ветру», так как агенты ИИ продолжают свои действия без контроля.
Суперинтеллект должен быть сдержан
Сатья Наделла уже поддержал предложение Дарио Амодеи (генерального директора Anthropic) о замедлении развития ИИ. Генеральный директор Microsoft недавно принимал участие в обеде, организованном Дональдом Трампом в Белом доме, но не подписал соглашение о безопасном развитии моделей ИИ. В посте на X он тем не менее использовал термин «Суперинтеллект», выбранный Президентом Соединенных Штатов.
Наделла подчеркивает, что, в отличие от традиционных программных систем, компании не могут понимать поведение систем суперинтеллекта. Тем не менее, агентам разрешено получать доступ к самым чувствительным данным и выполнять действия от имени людей.
Мы не можем рассматривать суперинтеллект как набор «черных ящиков» и ограничиваться принятием или отклонением его рекомендаций, ответов и действий. Мы должны построить изолированные системы, поведение которых можно наблюдать, тестировать пределы и всегда ограничивать действия. Мы должны сопоставить недетерминированные модели с надежной и детерминированной системой проектирования, человеческими контролями и надежными операционными процедурами, а также определить отраслевые стандарты, где существующие окажутся недостаточными.