기업의 AI 보안 위협 증가, 안전한 생성AI 활용 로드맵 제시

윤두식 이로운앤컴퍼니 대표는 19일 서울 강남구 한국기술센터에서 열린 한국정보산업연합회 CRM·BI협의회 정례 세미나에서 '조직 내 안전한 생성AI 활용과 기업의 AI 보안 로드맵'을 주제로 발표했다. 이날 발표에서 그는 생성형 인공지능(AI) 기술의 발전과 함께 그에 따른 보안 위협이 증가하고 있다고 언급했다.

발표에 따르면, 생성형 AI가 지배적인 시대가 도래하면서 공격 기법도 더욱 진화하고 있으며, 이를 방어하기 위한 보안 기술의 연구가 필요하다는 점이 강조되었다. 윤 대표는 거대언어모델(LLM)이 아직 초기 단계에 있다고 말하며, 향후 LLM을 활용하려는 기관과 기업이 등장할 것이라고 전망했다. 이에 따라 AI 보안 로드맵은 필수적이라는 입장을 밝혔다.

현재 많은 기업과 기관은 생성형 AI를 도입하기 전에 기밀정보 유출, LLM 모니터링, 제일베이크(Jailbreak) 등의 위험성을 우려하고 있다. 제일브레이크는 시스템의 제한을 해제하고 사용자가 원하는 방식으로 조작할 수 있도록 돕는 개념으로, 이러한 악용 사례는 증가하고 있다. 최근 가장 두드러진 예로는 생성형 AI를 통해 랜섬웨어 제작법을 물어보고 답변을 얻은 사건이 있다.

윤 대표는 캐나다의 자동차 판매점에서 발생한 프롬프트 인젝션 사례를 언급하며, 해커가 AI 챗봇에 불리한 질문을 던져 시스템의 이익을 최대한으로 활용한 것을 설명했다. 이러한 공격 기법은 사용자로부터 신뢰를 얻고자 하는 방법으로 진화하고 있으며, 이는 기업의 보안에 심각한 위협을 불러일으킬 수 있다.

요즘에는 프롬프트 변화를 차단하는 AI 서비스도 등장하고 있지만, 공격자들은 이러한 보안을 우회하는 기법을 개발하고 있다. 공격자들은 직접적인 방식이 아닌, 적절한 질문을 통해 시스템의 허점을 파고드는 행태를 굳히고 있다. 이는 이메일 등 다양한 분야에서의 AI 에이전트 활용 가능성을 높이지만, 보안 기술의 발전은 이에 비해 느리고 우려가 커지고 있다.

메타의 '라마 가드'와 같은 기술은 사용자 대화 및 응답을 분석할 수 있으나, 신뢰성과 속도의 문제를 안고 있다. 현재 대부분의 프롬프트 인젝션은 영어로 발생하고 있으나, 다국어 지원에는 미흡한 상태이며 이는 한국어 또한 포함된다.

윤 대표는 한국의 AI 보안 시장이 아직 시작 단계에 있으며, 더 많은 관련 기업이 필요하다고 강조했다. 그에 따라 대학의 연구 지원과 정책적 접근도 필수적이라는 의견을 덧붙였다. 이로운앤컴퍼니는 프롬프트 제일브레이킹과 인젝션 탐지 기술을 개발하고 있으며, '세이프엑스(SAIFE X)'와 같은 제품을 통해 비정형 데이터 분석 및 API 유출 탐지에 힘쓰고 있다.

│

이 포스트는 피시아(PHYSIA) 사에서 운영하는 게임투비즈(GameToBiz) R&D 블로그에서 작성되었으며, 공공의 이익에 기여하는 목적을 제외한 다른 용도의 무단 배포 및 수정을 금합니다. 참조 - 피시아(PHYSIA), 게임투비즈(GameToBiz), 게임메이커.KR, 게임S/W에이전시, 저널CTL코리아