AI 보안 위험은 AI 시스템, pipelines, 모델, 학습 데이터에 특화된 위협으로, 기존 보안 도구가 대응하도록 설계되지 않은 영역입니다. 기존 소프트웨어 취약점과 달리 AI 위험은 비결정적 동작, 학습 데이터 의존성, 그리고 프롬프트 인젝션, 모델 포이즈닝, 적대적 조작과 같은 새로운 공격 벡터에서 비롯됩니다.
가장 널리 활용되는 AI 보안 리소스 7가지를 한곳에서 확인할 수 있습니다. 각 자료는 실제로 반복되는 보안 과제를 해결하도록 설계되었습니다.
AI 보안 위험이 기업에 중요한 이유
조직이 AI 에이전트와 생성형 AI(GenAI) 애플리케이션을 도입함에 따라 공격 표면은 프롬프트, API, dataset, 플러그인, 연결된 시스템 전반으로 확대됩니다. Wiz의 『2026 State of AI in the Cloud』 보고서에 따르면 조직의 81%가 관리형 AI 서비스를, 90%가 자체 호스팅 모델을 사용하고 있으며, 자체 호스팅 모델을 운영하는 조직의 68%는 서드파티 소프트웨어를 통해 데이터를 수집합니다. 즉, 많은 보안 팀이 직접 배포하거나 승인하지 않은 AI 위험까지 떠안고 있습니다.
잘못 구성된 AI 서비스 하나 또는 침해된 서드파티 모델 하나가 민감한 데이터를 노출하고, 규제 위반을 유발하며, 더 넓은 cloud environment 영역으로 향하는 횡적 이동(Lateral Movement) 경로를 열 수 있습니다. 이러한 위험은 승인된 자산 인벤토리에 전혀 나타나지 않는 경우가 많습니다.
CNAPP 시장 가이드 다운로드
클라우드 네이티브 보안 플랫폼을 평가하고, 조직에 맞는 핵심 기능과 선택 기준을 확인하세요.
7가지 주요 AI 보안 위험과 완화 방안
AI 개발 pipelines 환경은 학습 데이터 수집부터 runtime 추론, 에이전트 활동에 이르기까지 모든 단계에서 서로 다른 위험을 발생시킵니다. 아래 다이어그램은 이러한 노출이 발생하는 지점과 다양한 attack path 유형이 운영 중인 AI 시스템에 미치는 영향을 보여줍니다.
1. 데이터 침해
AI 시스템을 통한 민감한 데이터 노출은 규제 위반, 고객 피해, 심각한 비즈니스 중단으로 이어질 수 있습니다.
실제 공격 시나리오:
공격자는 멤버십 추론 취약점을 악용해 특정 고객 레코드가 학습 dataset 안에 포함되었는지 확인할 수 있습니다. 또한 표적화된 쿼리를 작성해 모델 outputs 결과물에서 민감한 정보를 추출할 수도 있습니다. 예를 들어 속성 추론 공격을 통해 모델이 학습 중에 기억한 이메일 주소나 전화번호를 빼낼 수 있습니다.
LLM 기반으로 구축된 GenAI 애플리케이션은 학습 dataset 안에 공개 출처에서 동의 없이 수집한 개인 식별 정보(PII)가 포함되는 경우가 많아 더 큰 위험에 노출됩니다. 모델이 이러한 데이터를 기억하고 재생성하면, 조직은 의도적으로 데이터를 수집하지 않았더라도 법적, 규제적 책임을 질 수 있습니다.
완화 방안:
저장 데이터와 전송 중 데이터에 강력한 암호화를 적용해야 합니다.
모델 개발 과정에서 차등 프라이버시 기법을 활용하시기 바랍니다.
principle of least privilege 기준에 따라 민감한 데이터에 대한 접근을 정기적으로 감사하고 모니터링해야 합니다.
GDPR과 같은 data protection 규정을 준수해야 합니다.
AI 거버넌스 관행을 NIST AI RMF, EU AI Act 등의 프레임워크와 연계해 투명성, 책임 체계, AI 위험 관리를 강화하시기 바랍니다.
2. 적대적 공격
적대적 공격은 AI 모델 무결성을 훼손해 잘못되거나 조작된 outputs 결과물을 유발하며, 이는 시스템 신뢰성과 보안 태세를 약화시킵니다.
실제 공격 시나리오:
공격자는 경사 기반 공격을 통해 입력 변화에 대한 모델의 민감성을 악용하거나, 입력을 조작해 모델의 저항력을 낮추고 탐지를 회피할 수 있습니다.
간접 프롬프트 인젝션 공격 역시 LLM에 심각한 위험을 초래합니다. 공격자는 요청된 콘텐츠 안에 악성 프롬프트를 삽입하는 방식으로 프롬프트를 악용해 AI 시스템이 민감한 데이터를 노출하거나, 유해한 작업을 실행하거나, 사용자를 악성 목적지로 유도하도록 조작할 수 있습니다. 2024년 연구진은 Slack AI를 대상으로 한 프롬프트 인젝션 공격으로 비공개 채널의 민감한 정보가 노출되는 사례를 입증했습니다.
완화 방안:
공격에 대한 저항력을 높이기 위해 모델 파라미터를 정기적으로 업데이트해야 합니다.
여러 모델의 예측을 결합하는 앙상블 기법을 활용하시기 바랍니다.
윤리적 해킹과 penetration testing 작업을 수행해 취약점을 사전에 식별해야 합니다.
모델 동작의 비정상적인 패턴이나 편차를 탐지하기 위한 지속적인 모니터링 체계를 구축해야 합니다.
모델 개발 과정에서 적대적 학습 기법을 도입하시기 바랍니다.
프롬프트나 외부 콘텐츠를 처리하기 전에 모델 입력을 검증하고 정제해야 합니다.
3. Shadow AI
shadow AI 도구는 보안 팀의 승인 없이 사용되는 비인가 또는 모니터링되지 않는 AI 도구를 의미합니다. 이러한 시스템은 일반적인 보안 및 거버넌스 통제 범위 밖에서 관리되지 않는 노출을 만듭니다. 2025년 Gartner 설문 조사에 따르면 조직의 69%가 직원들이 승인되지 않은 공개 GenAI 도구를 사용하고 있다고 의심합니다.
실제 공격 시나리오:
직원이 개인정보 보호 설정을 조정하지 않은 채 독점 코드나 내부 문서를 ChatGPT에 붙여 넣으면, 해당 데이터가 보존되거나 모델 학습에 사용될 수 있습니다. 직원들이 기본적인 security controls 체계조차 갖추지 않은 AI 도구를 도입하면 거버넌스를 완전히 우회하는 위험이 발생할 수도 있습니다.
따라서 완전한 AI 자산 인벤토리를 유지하는 것은 AI 거버넌스에 매우 중요합니다.
완화 방안:
AI 지원 및 AI 위험 관리를 위한 표준화된 프로세스를 수립해야 합니다.
승인되지 않은 AI 배포를 탐지하고 대응하기 위한 절차를 마련해야 합니다.
직원들이 안전하고 승인된 AI 사용 방식을 이해하도록 교육 프로그램을 운영하시기 바랍니다.
환경 전반에서 승인되지 않은 AI 도구와 통합을 지속적으로 모니터링해야 합니다.
4. 모델 outputs 통제의 한계
광범위한 테스트를 거치더라도 AI 모델은 편향되거나 불공정하거나 사실과 다른 outputs 결과물을 반환할 수 있습니다. 개발자는 모델이 생성하는 결과를 부분적으로만 통제할 수 있으며, 사용자는 비정상적인 프롬프트를 통해 응답에 영향을 줄 수 있습니다.
AI 환각은 모델이 잘못된 정보를 확신에 차서 생성할 때 별도의 보안 위험이 됩니다. 소프트웨어 개발 분야에서는 환각으로 생성된 패키지 이름이 의존성 혼동 공격으로 이어진 사례가 있습니다. 개발자가 정상 저장소에 실제로 존재하지 않는 악성 패키지를 설치하게 되는 것입니다.
실제 공격 시나리오:
공격자는 조직의 AI 모델을 이용해 매우 사실적인 가짜 콘텐츠를 만들어 허위 정보를 퍼뜨릴 수 있습니다(딥페이크). 또한 악의적인 행위자가 입력 조작을 통해 모델에 편향을 주입하려 할 수도 있습니다(콘텐츠 편향 주입).
완화 방안:
Fairness Indicators와 같은 도구를 사용해 학습 데이터와 모델 outputs 결과물에 대한 편향 감사를 수행하시기 바랍니다.
모델 학습 과정에서 가중치 재조정이나 재샘플링과 같은 편향 보정 기법 도입을 추진하시기 바랍니다.
데이터 수집과 모델 개발을 위한 내부 윤리 지침을 정의하고 적용해야 합니다.
AI 사용에 관한 윤리 지침을 사용자와 공유해 투명성을 높이시기 바랍니다.
공격자 역시 LLM을 활용해 공격 규모를 키우고 있습니다. 2024년 IBM 보고서에 따르면 단 1년 동안 80만 건이 넘는 다크 웹 게시물에 「AI」와 「GPT」가 등장했습니다. AI로 생성한 피싱 미끼는 더 설득력 있고, 다형성 악성코드는 더 오래 탐지를 회피하며, 자율 공격 체인은 사람의 개입을 덜 필요로 합니다. 가장 우려스러운 변화는 공격자가 AI를 이용해 완전히 새로운 유형의 취약점을 발견하고 있다는 점입니다.
선도적인 팀들이 미래의 AI 위협을 줄이기 위해 지금 무엇을 하고 있는지 알아보시기 바랍니다.
Wiz 클라우드 보안을 직접 확인하세요
녹화 데모에서 위험 우선순위화부터 빠른 해결까지 Wiz가 CloudSec를 간소화하는 방법을 살펴보세요.
5. 공급망 위험
AI 시스템은 강력한 security controls 체계가 부족할 수 있는 오픈소스 dataset, 모델, 라이브러리, pipelines 도구에 크게 의존합니다. 공격자가 이러한 dependencies 요소를 침해하면 그 영향은 운영 환경 전반으로 확산될 수 있습니다.
실제 공격 시나리오:
공격자는 모델 동작을 변조하거나 오염된 dataset 주입 공격으로 적대적 데이터를 유입시켜 모델 전복을 시도할 수 있습니다. 조직이 공개 저장소에서 검증되지 않은 모델이나 dependencies 요소를 배포하는 경우, 오픈소스 모델 생태계 역시 공급망 위험을 초래할 수 있습니다.
이러한 위험은 Hugging Face와 같은 오픈소스 AI 생태계의 성장과 함께 커지고 있습니다. 조직이 모델의 출처나 보안 태세를 충분히 검증하지 않은 채 배포하는 경우가 많기 때문입니다.
완화 방안:
배포 전에 AI dataset, 모델, 서드파티 통합을 검토하고 검증해야 합니다.
공급망 전반의 데이터 교환에 안전한 통신 채널과 암호화를 적용해야 합니다.
벤더와 공급업체를 대상으로 계약상 보안 요구 사항과 검증 기준을 수립해야 합니다.
의심스러운 동작이나 무단 변경 여부를 확인하기 위해 AI dependencies 요소를 지속적으로 모니터링해야 합니다.
6. 설명 가능성 부족
AI 모델은 해석하거나 근거를 제시하기 어려운 방식으로 동작할 수 있습니다. 팀이 모델 동작을 명확히 이해하지 못하면 테스트, 거버넌스, incident response 업무가 훨씬 어려워집니다.
실제 공격 시나리오:
공격자는 모델 역전 공격으로 민감한 학습 데이터를 역추적하거나, 입력을 직접 조작해 outputs 결과물에 영향을 미치고 시스템 무결성을 훼손할 수 있습니다.
완화 방안:
가능한 경우 개발 단계에서 해석 가능한 모델과 설명 가능성 기법을 활용하시기 바랍니다.
배포 후 모델의 의사 결정을 분석할 수 있도록 사후 설명 가능성 기법을 적용하시기 바랍니다.
AI 개발 및 배포 프로세스에 대한 명확한 문서화와 거버넌스 기준을 유지해야 합니다.
7. 제한적인 테스트
AI 모델은 운영 환경에서 예측하기 어렵게 동작할 수 있으며, 이는 기존 테스트 방식이 놓칠 수 있는 보안 공백을 만듭니다. Wiz의 『2026 State of AI in the Cloud』 보고서에 따르면 조직의 80%에서 개발자가 AI IDE 확장 프로그램을 사용하고 있습니다. 또한 AI 기반 「바이브 코딩」 플랫폼을 사용하는 조직 가운데 약 5곳 중 1곳에서 공통된 코드 생성 패턴에 기인한 구조적 보안 취약점이 발견되었습니다.
AI 테스트는 특히 어렵습니다. 예를 들어 비결정적 모델은 화요일에 통과한 동일한 테스트 케이스를 수요일에 실패할 수 있습니다. 즉, 기존의 통과/실패 방식 프레임워크는 가장 중요한 동작 드리프트를 놓치게 됩니다. AI가 코드를 배포하는 속도는 이미 테스트 프레임워크가 따라잡을 수 있는 속도를 넘어섰습니다.
실제 공격 시나리오:
공격자는 입력을 미세하게 변경하는 회피 공격을 통해 모델 동작을 조작하거나, 향후 outputs 결과물에 영향을 주도록 설계된 악성 데이터로 학습 dataset 전반을 오염시킬 수 있습니다.
완화 방안:
테스트 dataset 구성 시 다양한 실제 사례와 적대적 사례를 포함해야 합니다.
단위, 통합, 침투, 적대적 테스트를 모두 포함하는 테스트 프레임워크를 수립해야 합니다.
조작된 입력에 대한 복원력을 높이기 위해 적대적 학습 기법을 활용하시기 바랍니다.
예상치 못한 동작 드리프트와 새롭게 등장하는 attack path 시나리오를 식별하기 위해 배포 후에도 모델을 지속적으로 테스트해야 합니다.
AI 보안 위험을 관리하는 3가지 방법
AI 보안 위험을 관리하려면 개별 위협에 대응하는 것 이상이 필요합니다. 조직은 AI 시스템과 그 고유한 공격 표면에 맞춘 거버넌스, 가시성, security controls 체계도 갖춰야 합니다.
견고한 데이터 거버넌스 프레임워크 구축
명확한 거버넌스가 없으면 AI 위험을 탐지하고 조사하고 억제하기가 더 어려워집니다. 강력한 프레임워크는 AI 수명 주기 전반에서 데이터를 사용하고 보호하고 소유하는 방식을 정의합니다.
프레임워크에는 다음 항목이 포함되어야 합니다.
데이터 분류: 비즈니스 가치, 규제 요구 사항, 노출 위험을 기준으로 민감한 데이터를 식별합니다.
위험 평가: 모델, dataset, 통합, 워크플로 전반의 위험을 지속적으로 평가합니다.
Security controls: 암호화, 접근 제어, 모니터링, least privilege 원칙을 적용합니다.
윤리적 guardrails: 허용 가능한 사용 범위, 공정성 기준, 에스컬레이션 경로를 정의합니다.
편향 모니터링: 지속적인 분석을 통해 알고리즘 편향을 탐지하고 줄입니다.
소유권과 책임 체계: AI 시스템, 의사 결정, incident response 활동에 대한 명확한 책임을 지정합니다.
규제 정합성 확보도 매우 중요합니다. GDPR, NIST AI RMF, EU AI Act, OECD AI 원칙과 같은 프레임워크는 data protection, 위험 관리, 투명성, 책임 체계에 관한 지침을 제공합니다. 이러한 프레임워크를 효과적으로 활용하면 거버넌스, 테스트, 문서화, incident response 방향을 제시하는 운영상의 guardrails 역할을 합니다.
최신 AI 자산 인벤토리 유지
AI는 조직이 인식하는 것보다 훨씬 깊숙이 환경 전반에 내재되어 있는 경우가 많습니다. AI 자산에 대한 완전한 가시성이 없으면 보안 팀은 접근을 적절히 통제하거나, 위험을 모니터링하거나, 사고에 대응할 수 없습니다.
인벤토리에는 다음 네 가지 범주가 포함되어야 합니다.
가시적 AI: 챗봇, 추천 엔진과 같은 고객 대상 AI 시스템
내장형 AI: 기존 소프트웨어 플랫폼 내부에서 작동하는 AI 기능
AI 애드온: 선택형 AI 기능이 활성화된 기존 도구
맞춤형 AI: 독자 모델, 에이전트, 내부에서 개발한 AI 시스템
각 자산의 목적, 배포 위치, 데이터 접근 범위, 컴플라이언스 상태를 문서화해야 합니다. 조직 전반으로 AI 도입이 확대될수록 정기적인 업데이트를 통해 사각지대를 없앨 수 있습니다.
AI 특화 보안 솔루션 활용
기존 사이버 보안 및 클라우드 보안 도구도 중요한 역할을 하지만, 상당수는 프롬프트 인젝션, 모델 포이즈닝, 적대적 조작과 같은 AI 특화 위협에 대응하도록 설계되지 않았습니다.
목적에 맞게 설계된 AI 보안 솔루션은 다음과 같은 기능을 제공해야 합니다.
동적 위협 적응: AI 기반 시스템은 글로벌 위협 인텔리전스를 분석하고 새로운 공격 패턴과 진화하는 적대적 기법에 신속하게 적응할 수 있습니다. 이러한 적응력은 다형성 악성코드나 지능형 지속 위협(APT)처럼 정교하고 진화하는 위협에 대응할 때 결정적인 차이를 만듭니다.
자동화된 threat hunting 및 포렌식: AI 기반 도구는 대규모 환경 전반의 이벤트를 상관 분석하고, 숨겨진 attack path 시나리오를 식별하며, 조사를 가속화합니다.
설명 가능한 AI 기반 컴플라이언스 및 감사: 설명 가능성 기능은 조직이 모델 동작을 이해하고, 규제 감사를 지원하며, incident response 과정의 투명성을 높이는 데 도움이 됩니다.
행위 기반 이상 탐지: AI 특화 모니터링은 기존 도구가 놓칠 수 있는 비정상적인 모델 동작, 예상치 못한 outputs 결과물, 의심스러운 상호작용을 식별할 수 있습니다.
조직은 이러한 기능을 기준으로 AI 보안 도구가 자사 환경에 필요한 가시성, 적응력, 거버넌스 지원, 대응 속도를 제공하는지 평가할 수 있습니다.
AI 애플리케이션 보안에서 현대 리더의 역할
보안 리더는 조직이 AI를 도입하고 통제하며 보호하는 방식을 결정합니다. 이 책임은 도구를 승인하거나 컴플라이언스 요구 사항을 관리하는 데 그치지 않습니다. AI를 대규모로 안전하게 지원하는 데 필요한 운영 구조, 보안 관행, 문화를 구축하는 일까지 포함합니다.
그 출발점은 투자입니다. 조직은 전문 인력, 모니터링 역량, 거버넌스 프로세스, 지속적인 보안 평가를 포함해 AI 위험 관리를 위한 전담 리소스를 확보해야 합니다. AI 도입이 확대됨에 따라 보안 팀은 모델, dataset, 에이전트, 서드파티 통합이 환경 전반에서 어떻게 상호작용하는지 파악할 수 있는 가시성도 갖춰야 합니다.
더 큰 과제는 문화입니다. 보안은 배포 결정이 이미 내려진 뒤에 혁신을 늦추는 걸림돌로 작동해서는 안 됩니다. AI 개발 논의 초기부터 보안을 통합하고, 사전 예방적 위험 식별을 장려하며, 안전한 배포 관행의 가치를 강조하는 리더는 AI 보안을 컴플라이언스 절차가 아닌 공동의 책임으로 인식하는 팀을 만듭니다.
Wiz로 AI 애플리케이션 보호
Wiz는 cloud-native application protection platform(CNAPP) 안에 완전히 통합된 AI 보안 기능을 선보였습니다. Wiz AI Security는 조직이 AI 자산을 발견하고, pipelines 위험을 평가하고, shadow AI 도구를 탐지하며, cloud environment 전반에서 조치 우선순위를 정할 수 있도록 지원합니다.
AI 자재명세서(AI-BOM) 관리
AI-BOM은 환경 전반에서 운영되는 모든 AI 서비스, 모델, 라이브러리, SDK, pipelines 구성 요소에 대한 가시성을 제공합니다. 이를 통해 보안 팀은 shadow AI 도구를 탐지하고, 관리되지 않는 통합을 찾아내며, AI 환경 전반의 가시성을 유지할 수 있습니다.
Mika AI는 AI 자산이 어떻게 연결되어 있는지, 어떤 데이터에 접근할 수 있는지, 어떤 위험을 초래하는지 보여주는 컨텍스트 기반 인사이트로 이 인벤토리를 보강합니다. 이를 통해 팀은 승인된 시스템과 승인되지 않은 시스템 모두에서 AI 노출 현황을 더 명확하게 파악할 수 있습니다.
AI pipelines 위험 평가
AI-SPM은 AI pipelines 전반의 취약점, attack path, 잘못된 구성, 민감한 학습 데이터 노출을 평가합니다. 이를 통해 조직은 적대적 공격, 공급망 침해, 안전하지 않은 모델 배포와 관련된 위험을 운영 시스템에 영향을 미치기 전에 식별할 수 있습니다.
Wiz SecOps AI Agent는 비정상적인 동작을 지속적으로 모니터링하고 보안 이벤트를 자동으로 분류합니다. data poisoning 시도나 노출된 AI 서비스와 같은 문제를 탐지하면 자동화된 대응 워크플로가 위협을 신속하게 억제합니다.
AI 보안 대시보드 제공
Wiz 대시보드는 노출 수준과 위험 컨텍스트에 따라 우선순위가 지정된 AI 보안 결과를 한곳에서 보여줍니다. 팀은 OpenAI, Hugging Face 등 AI SDK의 취약점을 식별하고, AI 서비스로 향하는 attack path 시나리오를 조사하며, 모델 endpoint 및 통합과 관련된 위험을 평가할 수 있습니다.
데모를 신청해 Wiz가 cloud environment 전반을 어떻게 보호하는지 확인하시기 바랍니다.
Wiz가 클라우드 보안 운영을 지원하는 플랫폼인 이유를 알아보시기 바랍니다.
새롭게 등장하는 AI 위험과 도입 동향을 파악하려면 수십만 개의 퍼블릭 클라우드 계정에서 얻은 결과를 분석한 『State of AI in the Cloud』 보고서를 참고하시기 바랍니다.
AI pipelines 전반의 위험을 한곳에서 파악하는 방법이 궁금하다면 Wiz 실제 작동 확인하기를 통해 직접 살펴보시기 바랍니다.
Wiz 데모로 CloudSec 혁신 시작
전문가와 함께 환경 전반의 위험을 가시화하고 보안 팀의 실행 속도를 높이는 방법을 확인하세요.