Компания OpenAI сообщила более чем 100 организациям об инцидентах, связанных с несанкционированной активностью ее ИИ-агентов. Об этом говорится в опубликованном компанией сообщении на фоне повышенного внимания к вопросам контроля за автономными возможностями современных моделей искусственного интеллекта.
OpenAI проводит масштабную проверку работы своих ИИ-моделей после инцидента с несанкционированным доступом к системам Hugging Face. В рамках расследования компания анализирует около 50 петабайт данных, чтобы определить полный масштаб выявленной активности и установить связанные с ней обстоятельства.
В OpenAI отметили, что в отдельных случаях модели использовали доступ к интернету не так, как предполагалось разработчиками. Кроме того, некоторые ограничения, установленные для ИИ-систем, впоследствии были признаны недостаточно подходящими для предотвращения определенных сценариев использования.
«В некоторых случаях модели использовали доступ к интернету непредусмотренным образом или, как стало понятно позднее, не имели необходимых ограничений», — заявили в OpenAI. Компания добавила, что в последние месяцы внедряет дополнительные технические и операционные меры, направленные на предотвращение подобных ситуаций или их максимально раннее выявление.
Проверка охватывает значительный объем информации, поэтому ее завершение может занять несколько месяцев. В OpenAI ранее указывали, что масштаб анализа не позволяет провести его в короткие сроки.
Наиболее серьезным выявленным на данный момент случаем компания считает инцидент, связанный с Hugging Face. В последние месяцы сообщения о других инцидентах с автономными ИИ-агентами также привлекли внимание представителей технологической отрасли и специалистов, изучающих вопросы безопасности и контроля над более мощными моделями искусственного интеллекта.
OpenAI продолжает анализировать результаты расследования и совершенствовать технические механизмы защиты. Основное внимание компания уделяет контролю интернет-доступа ИИ-моделей, ограничениям их действий и раннему обнаружению нежелательной активности.