Новая структура с открытым исходным кодом призвана упростить защиту программ LLM.

Канадский специалист по управляемому обнаружению и реагированию (MDR) eSentire открыл исходный код структуры, предназначенной для обеспечения более безопасного использования LLM. Платформа основана на использовании развертываний ИИ в собственных операциях.

eSentire заявляет, что ее шлюз LLM с открытым исходным кодом поможет компаниям лучше управлять безопасностью модели искусственного интеллекта. Его выпуск является частью более масштабного стремления компании к повышению безопасности в рамках LLM и более широких областей искусственного интеллекта.

«Вы можете написать функцию, которая вызывает LLM, но вы не можете проверить, как LLM примет решение, точно так же, как запрашивает ввод пользователя», — сказал The Stack вице-президент eSentire Labs Алекс Фейк. «Защитники должны учитывать, что любые результаты, возвращаемые LLM, могут быть враждебными».

Хотя обычные ИТ-угрозы могут включать в себя такие вещи, как сетевые вторжения, защита ИИ требует особого внимания к данным. В этом смысле eSentire заявляет, что ее шлюз может помочь обнаружить распространенные атаки, такие как отравление данных, которые могут помешать реализации LLM и искусственного интеллекта.

«Клиент будет уведомлен, и с помощью других наших возможностей [управляемого обнаружения и реагирования] eSentire сможет принять меры по сдерживанию на уровне пользователя или объекта», — сказал Фейк.

«Чтобы обнаружить «отравление» LLM, организациям необходимо иметь какой-либо шлюз LLM, чтобы взаимодействия LLM вашей компании могли регистрироваться и проверяться службами безопасности».

Частично секрет этой заметности заключается в использовании программного обеспечения с открытым исходным кодом. Фейк сказал, что шлюз eSentire изначально имеет открытый исходный код, чтобы обеспечить лучший обзор развивающейся области.

«Мы сделали его открытым исходным кодом, потому что хотим предоставить пользователям большую прозрачность в том, как ведение журнала LLM и другие меры безопасности могут быть реализованы в шлюзе LLM», — объяснил Фейк.

«Мы хотели предоставить специалистам по безопасности прототип, чтобы они могли лучше понять ценность шлюза и изучить возможности, на которые организация может обратить внимание при выборе коммерческого шлюза».

eSentire делает свой код шлюза доступным на GitHub.