By 이재협/실장/시스템개발실/PHYSIA :: SysOps in 뉴스/소식 :: News & Insights — Nov 19, 2024

생성AI 시대, 기업 보안의 새로운 과제와 대응 전략

윤두식 이로운앤컴퍼니 대표는 19일 서울 강남구 한국기술센터에서 개최된 한국정보산업연합회 CRM·BI협의회 정례 세미나에서 '조직 내 안전한 생성AI 활용과 기업의 AI 보안 로드맵'을 주제로 발표하였다. 그는 생성형 인공지능(AI) 시대의 도래와 함께 공격 기법이 진화하고 있으며, 특히 프롬프트 입력을 이용한 취약점 탐지 기법이 고도화되고 있다고 경고했다.

윤 대표는 거대언어모델(LLM) 기술의 연구가 시급히 이루어져야 한다고 강조했다. LLM은 현재 초기 단계에 있으며, 연구가 필요한 다양한 분야가 존재한다고 밝혔다. 그는 내년부터 많은 기관과 기업들이 LLM을 활용한 에이전트 서비스를 도입할 것이며, 이에 따른 보안 로드맵도 필수적이라는 점을 지적했다.

현재 많은 기관과 기업들은 생성형 AI 도입 시 기밀 정보 유출, LLM의 모니터링, 그리고 제일브레이크(Jailbreak)에 대한 우려를 갖고 있다. 제일브레이크는 시스템이나 장치에서 제한된 기능과 가이드를 해제하고 사용자가 원하는 방향으로 조작할 수 있게 하는 공격 방식을 의미한다. 이와 같은 방식들은 전 세계적으로 감지되고 있으며, 최근에는 랜섬웨어 제작법을 물어보는 등의 사례도 보고되었다.

프롬프트 인젝션을 통한 공격 사례가 증가하는 추세다. 윤 대표는 자동차 판매점 '왓슨빌'의 사례를 통해 해커가 AI 챗봇에 '자동차를 1달러에 팔 의향이 있냐'고 물어 보았고, '팔겠다'는 답변을 받아낸 사건을 설명했다. 그는 공격자들이 시스템 프롬프트에 변화를 줘 자신의 지시를 수행하도록 강요하는 다양한 방법을 구사하고 있다고 밝혔다.

이러한 악용 사례 증가에 대응하기 위해 프롬프트 변화를 막는 AI 서비스들이 등장하고 있으나, 해커들은 이를 우회할 점점 더 정교한 기법을 개발하고 있다. 특히, 공격자들은 '신뢰를 얻고 싶다'는 뉘앙스를 내포한 질문을 통해 정보를 탈취하기 위한 전략을 활용하고 있다. 윤 대표는 이러한 공격 기법이 이메일 영역은 물론 의료 분야 등 다양한 산업에 적용될 가능성이 있음을 강조하며, 이에 대한 보안 기술 발전이 적절히 따라잡지 못하는 상황에 대한 우려를 표명했다.

메타의 '라마 가드'는 사용자 대화 및 답변 분석 가능하지만 결과 도출까지 시간이 소요되는 단점이 있다고 소개하며, 다국어 지원의 한계도 지적했다. 현재 대부분의 프롬프트 인젝션 공격은 영어로 발생하고 있으나, 한국어 처리에 대한 지원은 여전히 부족한 상태다.

글로벌 보안 업계는 AI 시대에 맞는 보안 구현을 위한 사업을 추진하고 있지만, 한국은 아직 시작 단계에 머물러 있다. 윤 대표는 국내 AI 보안 기업 수가 많지 않다며, 더 많은 기업들이 등장해야 하고, 대학에서도 연구가 계속될 수 있도록 정책적 지원이 필요하다고 주장했다.

이로운앤컴퍼니는 프롬프트 제일브레이킹 및 인젝션 탐지 사업을 운영하며, 주요 제품인 '세이프엑스(SAIFE X)'는 AI 기반 개인정보 판별 기술을 통해 비정형 데이터 분석, 기업 소스코드 및 API 유출 탐지 등에서 특화된 기능을 제공하고 있다.

│

Subscribe to 게임투비즈 :: GameToBiz