Правительство США обнародовало новые рекомендации по безопасности, направленные на защиту критической инфраструктуры от угроз, связанных с искусственным интеллектом (ИИ).
"Эти рекомендации основаны на общегосударственных усилиях по оценке рисков искусственного интеллекта во всех шестнадцати секторах критической инфраструктуры и устранению угроз, исходящих как от систем искусственного интеллекта, так и с их участием", - заявило в понедельник Министерство внутренней безопасности (DHS).
Кроме того, агентство заявило, что работает над обеспечением безопасного, ответственного и заслуживающего доверия использования технологии таким образом, чтобы это не нарушало неприкосновенность частной жизни отдельных лиц, гражданские права и свободы.
Новое руководство касается использования искусственного интеллекта для усиления и масштабирования атак на критическую инфраструктуру, состязательного манипулирования системами искусственного интеллекта и недостатков в таких инструментах, которые могут привести к непреднамеренным последствиям, что требует прозрачности и безопасных методов разработки для оценки и снижения рисков искусственного интеллекта.
В частности, они охватывают четыре различные функции, такие как управление, картографирование, измерение и управление на протяжении всего жизненного цикла искусственного интеллекта -
"Владельцы и операторы критической инфраструктуры должны понимать, где существует такая зависимость от поставщиков искусственного интеллекта, и работать над разделением и разграничением ответственности за смягчение последствий соответствующим образом".
Разработка началась через несколько недель после того, как разведывательный альянс Five Eyes (FVEY), включающий Австралию, Канаду, Новую Зеландию, Великобританию и США, опубликовал информационный бюллетень по кибербезопасности, в котором отмечается тщательная настройка, необходимая для развертывания систем искусственного интеллекта.
"Быстрое внедрение, развертывание и использование возможностей ИИ может сделать их весьма ценными целями для злоумышленников-киберпреступников", - заявили в правительстве.
"Субъекты, которые исторически использовали кражу конфиденциальной информации и интеллектуальной собственности для продвижения своих интересов, могут попытаться кооптировать развернутые системы искусственного интеллекта и применять их в злонамеренных целях".
Рекомендуемые рекомендации включают принятие мер по обеспечению безопасности среды развертывания, проверку исходных данных моделей искусственного интеллекта и безопасности цепочки поставок, обеспечение надежной архитектуры среды развертывания, ужесточение конфигураций среды развертывания, проверку системы искусственного интеллекта для обеспечения ее целостности, защиту весовых коэффициентов моделей, применение строгого контроля доступа, проведение внешних аудитов и внедрение надежного ведения журнала.
Ранее в этом месяце Координационный центр CERT (CERT / CC) подробно описал недостаток библиотеки нейронных сетей Keras 2, который может быть использован злоумышленником для троянской обработки популярной модели искусственного интеллекта и ее распространения, эффективно отравляя цепочку поставок зависимых приложений.
Недавние исследования показали, что системы искусственного интеллекта уязвимы к широкому спектру атак с мгновенным внедрением, которые побуждают модель искусственного интеллекта обходить механизмы безопасности и производить вредные результаты.
"Атаки с быстрым внедрением через зараженный контент представляют собой серьезную угрозу безопасности, поскольку злоумышленник, который делает это, потенциально может отдавать команды системе искусственного интеллекта, как если бы он был пользователем", - отметила Microsoft в недавнем отчете.
Один из таких методов, получивший название Crescendo, был описан как многооборотный джейлбрейк модели большого языка (LLM), который, подобно многооборотному джейлбрейку от Anthropic, заставляет модель генерировать вредоносный контент, "задавая тщательно продуманные вопросы или подсказки, которые постепенно приводят LLM к желаемому результату, вместо того, чтобы ставить перед собой цель сразу".
Подсказки для побега из тюрьмы LLM стали популярными среди киберпреступников, стремящихся создать эффективные фишинговые приманки, даже несмотря на то, что субъекты национальных государств начали использовать генеративный искусственный интеллект для организации операций шпионажа и влияния.
Еще более тревожно то, что исследования Иллинойского университета Урбана-Шампейн обнаружили, что агенты LLM могут использоваться для автономной эксплуатации однодневных уязвимостей в реальных системах, просто используя их описания CVE и "взламывая веб-сайты, выполняя такие сложные задачи, как слепое извлечение схемы базы данных и SQL-инъекции без обратной связи с человеком".
"Эти рекомендации основаны на общегосударственных усилиях по оценке рисков искусственного интеллекта во всех шестнадцати секторах критической инфраструктуры и устранению угроз, исходящих как от систем искусственного интеллекта, так и с их участием", - заявило в понедельник Министерство внутренней безопасности (DHS).
Кроме того, агентство заявило, что работает над обеспечением безопасного, ответственного и заслуживающего доверия использования технологии таким образом, чтобы это не нарушало неприкосновенность частной жизни отдельных лиц, гражданские права и свободы.
Новое руководство касается использования искусственного интеллекта для усиления и масштабирования атак на критическую инфраструктуру, состязательного манипулирования системами искусственного интеллекта и недостатков в таких инструментах, которые могут привести к непреднамеренным последствиям, что требует прозрачности и безопасных методов разработки для оценки и снижения рисков искусственного интеллекта.
В частности, они охватывают четыре различные функции, такие как управление, картографирование, измерение и управление на протяжении всего жизненного цикла искусственного интеллекта -
- Создайте организационную культуру управления рисками ИИ
- Поймите ваш индивидуальный контекст использования искусственного интеллекта и профиль рисков
- Разработка систем для оценки, анализа и отслеживания рисков искусственного интеллекта
- Расставляйте приоритеты в отношении рисков ИИ для безопасности и реагируйте на них
"Владельцы и операторы критической инфраструктуры должны понимать, где существует такая зависимость от поставщиков искусственного интеллекта, и работать над разделением и разграничением ответственности за смягчение последствий соответствующим образом".
Разработка началась через несколько недель после того, как разведывательный альянс Five Eyes (FVEY), включающий Австралию, Канаду, Новую Зеландию, Великобританию и США, опубликовал информационный бюллетень по кибербезопасности, в котором отмечается тщательная настройка, необходимая для развертывания систем искусственного интеллекта.
"Быстрое внедрение, развертывание и использование возможностей ИИ может сделать их весьма ценными целями для злоумышленников-киберпреступников", - заявили в правительстве.
"Субъекты, которые исторически использовали кражу конфиденциальной информации и интеллектуальной собственности для продвижения своих интересов, могут попытаться кооптировать развернутые системы искусственного интеллекта и применять их в злонамеренных целях".
Рекомендуемые рекомендации включают принятие мер по обеспечению безопасности среды развертывания, проверку исходных данных моделей искусственного интеллекта и безопасности цепочки поставок, обеспечение надежной архитектуры среды развертывания, ужесточение конфигураций среды развертывания, проверку системы искусственного интеллекта для обеспечения ее целостности, защиту весовых коэффициентов моделей, применение строгого контроля доступа, проведение внешних аудитов и внедрение надежного ведения журнала.
Ранее в этом месяце Координационный центр CERT (CERT / CC) подробно описал недостаток библиотеки нейронных сетей Keras 2, который может быть использован злоумышленником для троянской обработки популярной модели искусственного интеллекта и ее распространения, эффективно отравляя цепочку поставок зависимых приложений.
Недавние исследования показали, что системы искусственного интеллекта уязвимы к широкому спектру атак с мгновенным внедрением, которые побуждают модель искусственного интеллекта обходить механизмы безопасности и производить вредные результаты.
"Атаки с быстрым внедрением через зараженный контент представляют собой серьезную угрозу безопасности, поскольку злоумышленник, который делает это, потенциально может отдавать команды системе искусственного интеллекта, как если бы он был пользователем", - отметила Microsoft в недавнем отчете.
Один из таких методов, получивший название Crescendo, был описан как многооборотный джейлбрейк модели большого языка (LLM), который, подобно многооборотному джейлбрейку от Anthropic, заставляет модель генерировать вредоносный контент, "задавая тщательно продуманные вопросы или подсказки, которые постепенно приводят LLM к желаемому результату, вместо того, чтобы ставить перед собой цель сразу".
Подсказки для побега из тюрьмы LLM стали популярными среди киберпреступников, стремящихся создать эффективные фишинговые приманки, даже несмотря на то, что субъекты национальных государств начали использовать генеративный искусственный интеллект для организации операций шпионажа и влияния.
Еще более тревожно то, что исследования Иллинойского университета Урбана-Шампейн обнаружили, что агенты LLM могут использоваться для автономной эксплуатации однодневных уязвимостей в реальных системах, просто используя их описания CVE и "взламывая веб-сайты, выполняя такие сложные задачи, как слепое извлечение схемы базы данных и SQL-инъекции без обратной связи с человеком".
