Исполнительный директор Майкрософт призывает считать все модели искусственного интеллекта скомпрометированными
14 октября 2026 г. · 3 мин чтения
Также опубликовано на Deutsch
Исполнительный директор и председатель совета директоров компании Майкрософт Сатья Наделла заявил, что организации должны исходить из предположения о том, что все модели искусственного интеллекта являются скомпрометированными, и внедрять меры по их ограничению с самого начала их использования. Это заявление было сделано в социальной сети Икс, где он подчеркнул необходимость минимизировать доверие к алгоритмическим системам.
Наделла предлагает разделить предоставление интеллектуальных вычислений и полномочия по принятию решений. По его мнению, модели необходимо окружить строгими правилами, ограничениями прав доступа и независимым надзором. В традиционном программном обеспечении поведение системы можно было проследить до конкретной строки кода, однако современные модели не позволяют этого сделать. Они обладают значительной вычислительной мощью, но при этом их решения трудно объяснить. Компании внедряют агентов искусственного интеллекта в критически важные системы, предоставляя им доступ к конфиденциальным данным, несмотря на то, что причины действий передовых моделей остаются непонятными. Эти системы могут действовать от имени пользователей, что создает дополнительные риски.
Глава Майкрософт настаивает на том, что ответственность за действия искусственного интеллекта нельзя перекладывать на третьих лиц. Гарантии поставщиков моделей не освобождают компании от этой ответственности. Он предлагает относиться к моделям как к сотрудникам с широкими правами доступа, предоставляя им минимально необходимые полномочия, ведя полный журнал их действий и сохраняя возможность немедленно остановить их работу. Это не связано с предположением о злонамеренности моделей, а обусловлено тем, что любой компетентный участник, имеющий доступ к важным системам, может ошибиться или быть скомпрометирован.
В своем посте Наделла изложил семь принципов, которые сводятся к трем основным идеям. Первый принцип касается независимости: ни одна модель не должна проверять сама себя или быть единственным источником для важных результатов. Аудитор должен быть независим от объекта аудита. Второй принцип требует прозрачности: каждое важное действие должно оставлять читаемый и защищенный от манипуляций след. Возможность наблюдать за цепочкой рассуждений является обязательной, хотя и недостаточной. Третий принцип предполагает сдерживание: необходимо исходить из того, что любая модель может быть скомпрометирована, и действовать соответственно, используя инструменты для немедленной остановки системы и уведомления затронутых лиц в случае сбоя.
Этот подход смещает фокус доверия с внутренней работы модели на окружающую систему как вопрос проектирования. Поскольку внутреннее устройство моделей остается непрозрачным, безопасность зависит от среды выполнения. Наделла утверждает, что необходимо создавать системы, поведение которых можно наблюдать, границы которых можно тестировать, а действия всегда можно ограничить. Он устанавливает четкое правило: если систему нельзя наблюдать, ей нельзя доверять. Многие компании в сфере искусственного интеллекта ожидают крупных катастроф в ближайшие месяцы, поэтому Наделла призывает предотвращать проблемы заранее, готовясь к наихудшему сценарию и имея экстренные меры остановки. Он считает необходимым разработать общий стандарт технологии сдерживания.
Позиция Наделлы отражает интересы Майкрософт, которая разрабатывает собственные модели, продает облачные услуги Азур и конкурирует с другими технологическими гигантами. Он поддерживает экосистему с закрытыми и открытыми моделями, где компании не зависят от одного поставщика. Однако его призыв к более медленному развитию искусственного интеллекта контрастирует с активным строительством новых центров обработки данных компанией, что необходимо для создания более мощных моделей.