"Nvidia tackles agentic AI safety and security with new NeMo Guardrails NIMs"라는 제목의 VentureBeat 기사에서는 NVIDIA가 NeMo Guardrails와 NVIDIA Inference Manager(NIM) 기술을 사용하여 생성 AI 도입의 안전성과 보안을 강화하기 위한 노력을 다루고 있습니다.

주요 내용은 다음과 같습니다.

NeMo Guardrails
- NVIDIA는 NeMo Guardrails를 소개했습니다. 이 시스템은 대형 언어 모델(LLM)을 기반으로 한 AI 애플리케이션의 신뢰성, 안전성 및 보안을 보장하기 위해 설계되었습니다. 이 시스템은 AI 상호작용을 제어하고 보호하기 위한 프로그래밍 가능한 가드레일을 제공합니다.

NIM과의 통합
- NeMo Guardrails는 NVIDIA의 NIM(NVIDIA Inference Manager)과 통합되어 있습니다. NIM은 안전하고 신뢰할 수 있으며 고성능의 AI 모델 추론을 위한 마이크로서비스 집합입니다. 이 통합은 데이터 센터, 워크스테이션, 클라우드 환경 등 다양한 인프라에서 AI 모델을 효율적이고 확장 가능하게 배포할 수 있도록 합니다.

기능
- NeMo Guardrails는 입력 쿼리를 임베딩 벡터로 변환하여 미리 정의된 정책과의 효율적인 비교를 가능하게 합니다. 이를 통해 AI 모델이 안전, 보안, 또는 규정 준수 정책을 위반하는 출력을 제공하지 않도록 합니다.
- 이 시스템은 사용자 계정 해킹 시도나 개인 데이터 접근 같은 악의적인 사용을 방지합니다.

성능
- NeMo Guardrails와 NIM의 통합은 안전 필터링과 대화 관리의 성능을 향상시키며, 안전 프로토콜을 시행하는 데 저 지연과 높은 효율을 보장합니다.

배포
- 사용자는 NeMo Guardrails를 로컬 또는 NVIDIA 호스팅 엔드포인트를 통해 배포할 수 있습니다. 이 시스템은 OpenAI API와 호환되며, NVIDIA API 카탈로그를 통해 통합할 수 있습니다.

조기 접근
- NeMo Guardrails 마이크로서비스는 조기 접근으로 제공되며, 관심 있는 개발자는 조기 접근 프로그램에 신청하여 이 기능을 사용할 수 있습니다.

전반적으로 NVIDIA의 NeMo Guardrails와 NIM 기술은 생성 AI 애플리케이션의 안전하고 보장된 운영을 위한 견고한 프레임워크를 제공하는 것을 목표로 하고 있습니다.