AI 모델 보안 스캐닝 이해하기
AI 모델 보안 스캔은 전체 수명 주기에 걸쳐 모델과 주변 스택에서 보안 문제를 점검하는 과정입니다. 여기에는 정적 아티팩트 스캔(모델 파일, 의존성, 직렬화 형식), 파이프라인 및 정책 집행(CI/CD 게이트, 접근 제어), 동적 엔드포인트 테스트(프롬프트 인주션, 악용 패턴), 런타임 모니터링(동작 이상 현상, 드리프트 탐지)이 포함됩니다. 모델 산출물, 학습 데이터, 추론 엔드포인트, 그리고 이를 호스팅하는 클라우드 인프라를 검토합니다.
클라우드 내 AI 모델은 일반 앱에서는 볼 수 없는 특정 위협에 직면해 있습니다. 다음과 같은 용어를 만나게 될 것입니다 모델 추출, 데이터 오염, 그리고 신속한 주입 –최근 가트너 설문조사에 따르면 공격 패턴이 증가하고 있습니다. 이러한 위협은 학습부터 생산 추론까지 AI 수명주기의 다양한 단계를 겨냥합니다.
모델 추출: 공격자가 당신의 모델을 복제합니다'많은 맞춤형 쿼리를 보내면서 행동이나 매개변수를 변경합니다.
데이터 포이징: 악성 데이터는 학습이나 미세 조정에 몰래 들어가 모델이 잘못 동작하거나 숨겨진 백도어를 갖게 됩니다.
즉흥 인젝션과 적대적 입력: 입력은 명령어를 무시하거나 데이터를 유출하거나 위험한 행동을 강제하기 위해 만들어집니다. 레드팀 연구(예: 이 연구)는 AI 에이전트에 대한 광범위한 정책 위반을 보여주며, 적대적 프롬프트가 여러 모델 아키텍처에서 안전 보호막을 우회할 수 있음을 보여줍니다.
전통적인 보안 도구는 서버와 네트워크에 중점을 둡니다. 그들은 좀처럼 이해하지 못한다 모델 직렬화 공격 (모델 파일에 숨겨진 악성 코드), 노출된 훈련 데이터셋, 회원 추론 (특정 데이터가 학습 집합에 있는지 판단), 또는 모델 반전 (출력에서 원본 학습 데이터를 재구성함).
다음과 같이 생각해야 합니다. 독성 조합, 단일 발견이 아닙니다. 예를 들어, 모델 취약성은 다음과 같은 상황에서 심각해집니다:
이 모델은 인터넷에서 호출할 수 있습니다.
이 모델은 민감한 데이터 저장소에 접근할 수 있습니다.
모델 호스트가 클라우드 계정에 지나치게 광범위한 권한을 가지고 있습니다.
실제로는 취약한 모델, 강력한 신원, 중요한 데이터가 만나는 곳에 가장 큰 위험이 존재합니다. 한 글로벌 서비스 회사가 이런 방식으로 LLM 취약점을 발견하고, 자동화된 라우팅을 이용해 각 모델을 소유한 팀에 문제를 전달했는데, 보안이 수동으로 소유자를 추적하도록 강요하는 대신에 적용되었습니다.
25 AI Agents. 257 Real Attacks. Who Wins?
From zero-day discovery to cloud privilege escalation, we tested 25 agent-model combinations on 257 real-world offensive security challenges. The results might surprise you 👀
포괄적인 모델 발견 및 인벤토리 구현
모델 발견은 환경 내 모든 AI 자산을 찾는 것입니다. 모델 재고는 해당 자산, 접촉 사항, 소유자 등을 최신 상태로 유지하는 것입니다.
이 인벤토리에는 관리형 서비스, 셀프 호스팅 모델, 실험적인 모든 것이 포함되어야 합니다. 즉, 다음을 포함해야 합니다:
SageMaker, Azure ML, Vertex AI 같은 플랫폼에서 관리되는 엔드포인트입니다.
Kubernetes, VM, 서버리스 기반 맞춤형 배포.
교육 인프라, 기능 저장소, 배치 추론 작업.
모델이 어디에 있는지 알게 되면, 그 모델들이 어떻게 만들어졌는지와 연결하세요. 이건 모델 계보: 학습 데이터에서 파이프라인을 거쳐 생산 엔드포인트까지 모델을 추적하는 작업입니다.
모델 등록부: 모든 생산용 모델을 중앙에서 등록할 수 있는 공간을 사용하거나 만들세요.
AI 파이프라인 재고: 매핑 코드 저장소, 교육 작업, 평가 단계, 배포 작업.
소유권: 팀명, 서비스, 사업부를 태그하여 즉시 이슈를 할당할 수 있도록 모델을 태그하세요.
또한 수면 위로 올라가야 합니다 그림자 AI 모델. 이 모델들은 팀들이 자체 구축하는 모델로, 종종 공식 검토 밖에서 이루어지지만, 여전히 클라우드 계정에 보관되어 있습니다. 이는 최신 Sysdig 사용 보고서에서 AI 워크로드가 해마다 급격히 증가한 점을 고려하면 매우 중요한 과제입니다.
여러 차례 합병을 거친 데이터 기반 기업이 이 방식을 사용했습니다 스캔 AI 여섯 가지 다른 환경에서 사용. 단일 인벤토리와 보안 그래프를 통해, 어떤 모델이 민감한 데이터를 사용했고, 어떤 모델이 인터넷에 노출되었는지 마침내 확인할 수 있었다. 원래 어떤 회사가 만든 것이든 상관없이.
CI/CD 파이프라인에서의 모델 스캔 자동화
CI/CD에서 모델 스캐닝은 모델을 빌드 파이프라인의 다른 아티팩트처럼 취급한다는 뜻입니다. 라이브 방송 후뿐만 아니라 스테이징이나 프로덕션 전에 스캔합니다.
우선 모델 보안 검사를 명시적인 파이프라인 단계로 추가하세요. 훈련이나 미세 조정이 완료되고 모델 파일이 생성되면, 다음과 같은 상황이 나타납니다:
모델 아티팩트를 스캔하여 안전하지 않은 디직렬화 및 내장된 코드를 검사합니다. 피클보다 세이프텐서 같은 안전한 형식을 선호하고, 신뢰할 수 없는 커스텀 코드를 불러오는 것을 차단하세요. 피클 파일은 디직렬화 과정에서 임의의 파이썬 코드를 실행할 수 있어 직접적인 코드 실행 위험을 초래합니다.
환경과 컨테이너에서 알려진 취약점이나 잘못된 설정이 있는지 확인하세요.
생성 SBOM AI를 위해 여기에는 관련된 모든 프레임워크와 의존성이 나열되어 있습니다.
그 다음 규칙을 강제합니다. 정책-코드(policy-as-code). 예를 들어, 어떤 프로덕션 모델도 개발 데이터 저장소를 참조할 수 없다고 코딩할 수 있습니다. 코드, 파이프라인, 클라우드, 런타임을 아우르는 통합 정책 엔진은 팀이 위험한 AI 배포를 조기에 차단하고 환경 전반에 걸쳐 정책의 일관성을 유지하여 모델이 위험한 구성으로 빠져나갈 가능성을 줄여줍니다.
어떤 프로덕션 모델도 개발 데이터 저장소를 참조할 수 없습니다.
ML 프레임워크에 치명적인 취약점이 존재하는 경우에는 배포가 허용되지 않습니다.
특정 프로젝트나 데이터 유형에 대해 공개 엔드포인트는 허용되지 않습니다.
Kubernetes에 대해 추가로 입학 감독관 OPA 게이트키퍼나 키버노가 마지막 문으로 등장하는 것처럼요. 이 컨트롤러들은 클러스터 내 자원이 생성되기 전에 배포 요청을 가로채고 정책을 강제합니다.
모델 사인: 서명된 모델 아티팩트를 요구하고 서명을 확인한 후 서빙하세요.
IaC 스캔: Terraform, Helm 및 AI 인프라를 구축하는 기타 템플릿을 검증하세요.
비준수 배포: 빠르게 실패하고 소유팀에 명확한 메시지를 전달하세요.
한 글로벌 제품 회사는 클라우드 리소스가 생성되기 전에 잘못된 설정을 발견하기 위해 이 패턴을 사용합니다. 같은 접근법을 적용할 수 있으니 어떤 시도든 스캔 AI 모델과 인프라는 모든 변경 시 자동으로 작동합니다.
클라우드 AI 서비스 배포 보안
클라우드 내 AI 서비스를 안전하게 확보하는 것은 모델을 어떻게 노출하고 배선하느냐에 달려 있습니다. 완벽하게 안전한 모델 파일이 있어도 잘못된 배포 선택으로 큰 모델 보안 문제가 발생할 수 있습니다.
먼저 엔드포인트가 어떻게 노출되는지에 집중하세요. 다음과 같은 간단한 질문을 하세요: "누가 이걸 그렇게 부를 수 있겠는가?" 그리고 "어디서?"
종말 노출: 가능하면 공개 엔드포인트보다 프라이빗 엔드포인트를 선호하세요. SageMaker 엔드포인트에는 AWS PrivateLink를, Azure ML에는 Azure Private Link를, Vertex AI에는 GCP Private Service Connect를 사용하세요. 이렇게 하면 추론 트래픽이 VPC 내에서만 차단되고 공용 인터넷에는 노출되지 않습니다.
네트워크 제어: AWS PrivateLink, Azure Private Link, GCP Private Service Connect 같은 사설 네트워킹 체계를 사용하여 추론 엔드포인트가 공용 인터넷에 접속하지 않도록 하세요. 서비스 메시와 내부 게이트웨이는 추가적인 정책 강제 계층을 추가합니다.
그 다음 인증과 권한 설정을 잠가세요. 모델에 대한 모든 호출은 인증되어야 하며, 서비스 환경은 최소 권한 범위에 따라야 합니다.
인증: 워크로드 식별이나 단기 토큰 같은 강력한 인증 패턴을 사용하세요. 클라우드 환경에서 기계 신원은 인간 신원보다 훨씬 많으며, 시간이 지남에 따라 과도하고 사용하지 않는 권한 때문에 더 위험한 경우가 많습니다.
권한: 모델 호스트가 진정으로 필요한 특정 버킷, 큐, 또는 비밀 정보만 읽을 수 있도록 하세요.
또한 주의해야 할 점도 있습니다 구성 드리프트. 개발자는 잠긴 설정을 사용하는 반면, 프로덕션은 조용히 본격적으로 전환할 수 있습니다 "세상에 열려 있다" 영역.
드리프트 체크: 엔드포인트 노출, 암호화, 로깅, 신원 설정 등 개발, 스테이징, 프로덕션을 정기적으로 비교하세요.
암호화: 모델 파일과 학습 데이터가 AWS KMS, Azure Key Vault, GCP Cloud KMS를 통해 고객 관리 암호화 키(CMEK)를 사용해 휴지 상태에서 암호화되었는지 확인하세요. 모든 추론 엔드포인트와 데이터 전송에 대해 TLS 1.3으로 전송 중인 트래픽을 보호하세요.
이렇게 배치를 확보하면, 모델 보안 단순히 모델에 관한 것이 아니라 더 넓은 클라우드 위생의 일부가 됩니다.
Sample AI Security Assessment
Get a glimpse into how Wiz surfaces AI risks with AI-BOM visibility, real-world findings from the Wiz Security Graph, and a first look at AI-specific Issues and threat detection rules.
런타임 모델 보호 및 모니터링
런타임 보호는 실제로 트래픽을 처리하는 모델을 모니터링하는 방법입니다. 여기서는 모델 파일의 속성보다는 동작에 더 관심이 있습니다.
먼저 배포부터 시작하세요 런타임 센서 모델 서비스 인프라에서 또는 센서가 위치한 클라우드 네이티브 텔레메트리를 활성화할 수 있습니다'불가능해. 이러한 경량 eBPF 기반 부품들은 다음과 같은 기능을 볼 수 있습니다:
모델 호스트에서 의심스러운 프로세스가 시작됩니다.
예상치 못한 파일 쓰기나 네트워크 연결.
컨테이너 탈출 또는 권한 상승 시도.
동시에 모델 동작을 모니터링합니다. 요청이나 응답에서 비정상적인 패턴은 종종 공격이나 오용을 가리킵니다. 런타임 텔레메트리와 클라우드 신원, 네트워크 노출, 데이터 민감도 맥락을 결합하면 오탐을 줄이고 분류 속도를 높일 수 있습니다—모든 이상치를 쫓는 대신 실제로 중요한 이상 현상에 집중할 수 있습니다.
행동 분석: 이상한 스파이크, 이상한 프롬프트 패턴, 혹은 경계 사례를 심하게 탐색하는 것을 찾아보세요.
데이터 유출: 모델 호스트에서 모르는 목적지로 데이터를 전송하려는 시도를 주의 깊게 관찰하세요.
또한 추적도 합니다 드리프트. 모델 출력이나 입력 분포가 예상치 못한 방식으로 변할 때, 이는 중독, 상류 시스템 고장 또는 조용한 공격의 신호일 수 있습니다.
중요한 워크로드에 쿠버네티스를 의존하는 소프트웨어 회사는 컨테이너화된 서비스를 보호하기 위해 런타임 센서를 사용합니다. 동일한 센서들은 갑자기 발신 전화를 걸거나 정상적인 추론 패턴과 일치하지 않는 행동을 하는 AI 워크로드를 포착하는 데 도움을 주어 피해가 확산되기 전에 조기 경고를 제공합니다.
모델 공급망 보안 관리
모델 공급망 보안 모델과 머신러닝 컴포넌트가 어디서 나오는지에 관한 문제입니다. 강력한 오픈 소스 모델을 끌어들여오면서도 숨겨진 백도어를 우연히 끌어들이는 경우가 많습니다.
사용하는 모든 서드파티 및 오픈소스 모델의 출처와 무결성을 반드시 확인해야 합니다. 여기에는 사전 학습된 가중치, 미세 조정 체크포인트, 심지어 작은 보조 모델도 포함됩니다.
모델 출처: 각 모델이 어디서 왔고 어떻게 변경되었는지 기록하세요.
저장소 스캔: 악성 아티팩트나 알려진 안전하지 않은 포맷을 찾기 위해 모델 저장소를 스캔합니다. 모델 서명을 강제하고 사용 전에 서명을 검증하여 모델이 안전하도록 보장합니다'훈련과 배치 사이에 조작된 적이 없습니다.
다음으로, 깨끗한 상태가 유지됩니다 소프트웨어 자재 목록 각 모델에 대해. 이 SBOM에는 모델이 의존하는 프레임워크, 라이브러리, 시스템 구성 요소를 나열해야 합니다.
의존성 스캔: 이 목록을 취약점 피드와 지속적으로 비교해 확인하세요.
정기 업데이트: 취약점이 발생할 경우 중요한 ML 프레임워크의 업데이트를 계획하고 테스트하세요.
이것이 상위 패키지에서 조용한 모델 취약점이 완전한 타협으로 변하는 것을 방지하는 방법입니다. AI 모델 공급망을 컨테이너나 운영체제 공급망과 똑같이 세심하게 다루며, 특히 신경 써서 다룹니다 모델 변조 그리고 공급망 공격 AI에만 고유한 것들입니다.
GenAI Security Best Practices Cheat Sheet
This cheat sheet provides a practical overview of the 7 best practices you can adopt to start fortifying your organization’s GenAI security posture.
AI 모델의 거버넌스 및 준수 프레임워크
AI 모델 거버넌스는 모델이 어떻게 구축되고 배포되며 사용되는지에 대한 규칙을 정하는 것입니다. 규정 준수는 그 규칙을 준수했다는 것을 증명하는 방법입니다.
먼저 모델 수명 주기에 대한 정책을 정의합니다. 이 정책들은 접근, 승인, 그리고 모델 은퇴 시기를 포함해야 합니다.
접근 정책: 누가 훈련 데이터, 모델 가중치, 추론 로그를 볼 수 있는지.
사용 정책: 모델이 어디에서, 어떤 사용자에게, 어떤 데이터 타입과 함께 사용될 수 있는지 확인하세요.
은퇴 정책: 모델이 언제 서비스 중단되어야 하는지, 그리고 그 데이터에 어떤 일이 일어나는지에 대해 알아보세요.
그 다음 승인 워크플로우를 정의합니다. 영향력이 크거나 위험도가 높은 모델은 운영 전에 보다 공식적인 검토 과정을 거쳐야 합니다.
또한 AI 제어를 NIST AI RMF 1.0, ISO/IEC 42001, EU AI Act와 같은 관련 규제와 같은 외부 및 내부 표준에 매핑합니다. 관련 시 지원 통제를 SOC 2 및 ISO 27001과 일치시켜 포괄적인 보안 거버넌스를 입증합니다.
AI 거버넌스: 누가 모델에 서명했는지, 어떤 테스트가 이루어졌는지, 그리고 위험 평가 방식을 문서화하세요.
모델 위험 평가: 모델을 사용하는 데이터와 실패 영향에 따라 위험 범주로 분류합니다.
준수 매핑: 모델 통제를 조직이 따르는 보안 및 프라이버시 프레임워크와 연결하세요. NIST AI RMF에 대한 지도 모델 접근 제어's 거버넌 기능, ISO/IEC 42001에 맞는 학습 데이터 보호'데이터 거버넌스 요구사항과 Soc 2 타입 II 연속 모니터링 제어에 대한 런타임 모니터링 등이 포함됩니다. 규제 산업의 경우, 의료 AI에 대한 HIPAA, 결제 처리 모델에 대한 PCI DSS와 같은 산업별 요구사항을 준수해야 합니다.
이렇게 하면 변하게 됩니다 모델 보안 임시방편의 결정들에서 법무팀, 위험팀, 보안팀 모두가 이해할 수 있는 반복 가능한 프로세스로 발전합니다.
침해 AI 모델에 대한 사고 대응
AI 사고 대응 모델에 문제가 생겼을 때 하는 행동입니다. 다른 사고처럼 처리하지만, 모델, 데이터, 파이프라인에 더 집중합니다.
먼저 AI 전용 플레이북을 작성하는 것부터 시작합니다. 이 플레이북들은 모델 도용, 모델 오용, 적대적 공격 같은 내용을 다뤄야 합니다.
모델 서비스 엔드포인트가 이상하게 행동하거나 예상치 못한 출력을 제공하고 있습니다.
환경에서 오염된 모델이나 데이터셋을 발견합니다.
누군가 승인 없이 모델 가중치를 복사하거나 다운로드한 경우도 있습니다.
각 플레이북은 명확한 격리 단계를 명확히 명확히 제시해야 합니다. 예를 들어, 다음과 같이 할 수 있습니다:
특정 추론 엔드포인트를 속도 제한하거나 비활성화하세요.
트래픽을 이전 안전 모델 버전으로 전환하세요.
의심스러운 신원이나 네트워크가 모델을 호출하는 것을 차단하고, 영향을 받은 자격 증명, 토큰, API 키를 즉시 교체하거나 취소하세요. 이로 인해 공격자가 손상된 인증 자료를 통해 접근을 유지하는 것을 방지합니다.
또한 모범 법의학. 이렇게 로그, 모델 계보, 환경 데이터를 활용해 무슨 일이 있었는지 조사할 수 있습니다.
법의학: 모델 아티팩트, 로그, 관련 데이터를 수집하여 분석하세요.
공격 경로 분석: 공격자가 모델이나 라이브러리 문제에서 더 넓은 클라우드 자원으로 이동한 경로를 추적하세요.
AI 관련 라이브러리에서 치명적인 취약점에 직면한 금융 서비스 회사는 이러한 가시성을 활용해 어떤 워크로드가 문제의 부품을 사용했는지 정확히 찾아내어 신속하게 수정했습니다. 이 패턴은 모든 AI 관련 보안 이벤트에도 적용됩니다.
고급 모델 보안 기법
첨단 모델 보안 통제는 위험 상황이 클 때 추가하는 추가 단계입니다. 이들은 처음 만드는 것은 아니지만, 민감한 작업에서는 중요해집니다.
몇 가지 흔한 사례들:
모델 워터마킹: 모델에 보이지 않는 신호나 행동을 추가해서 나중에 본인임을 증명하거나 복제본을 감지할 수 있게 하는 것입니다.
차별적 프라이버시: 공격자가 개별 데이터 포인트에 대해 알 수 있는 정보를 제한하는 방식으로 모델을 훈련시키는 것입니다. 심지어 출력에 접근할 수 있더라도 말이죠.
동형암 암호화: 데이터와 계산을 구조화하여 특정 추론이 암호화된 데이터에 적용되도록 하여 원시 값의 노출을 줄입니다.
대립 훈련: 적대적인 예제를 기반으로 모델을 의도적으로 훈련시켜 공격 패턴에 저항하는 법을 배우게 합니다.
이 도구들은 모델 도용, 학습 데이터 유출, 적대적 공격에 대응하는 데 도움을 줄 수 있습니다. 성능과 복잡성에서 트레이드오프가 따르므로, 위험 프로필이 비용을 정당화할 때 적용해야 합니다.
Wiz와 함께 통합 AI 보안 프로그램 구축
통합 AI 보안 프로그램은 AI 보안과 클라우드 보안이 동일한 플랫폼, 데이터, 워크플로우를 공유하는 것을 의미합니다. 별도로 운영하는 걸 멈추게 됩니다 "AI 보안" 섬을 운영하고 기존 운영 모델에 통합하세요. 이 접근법은 OWASP 상위 10대 LLM 응용 프로그램과 일치하여 AI 시스템에 대한 가장 중요한 보안 위험을 체계적으로 해결하는 데 도움을 줍니다.
모든 자산을 하나의 뷰로 옮기는 것부터 시작합니다. 여기에는 모델, 데이터 저장소, 컴퓨트, 아이덴티티스, 파이프라인, 엔드포인트가 포함됩니다.
보안 그래프 시각화: 보안 그래프를 사용하여 주어진 모델이 학습 데이터, 생산 데이터, 아이덴티티, 네트워크와 어떻게 연결되는지 보여줍니다. 모델, 데이터 저장소, 아이덴티티, 엔드포인트 전반에 걸친 그래프 맥락은 소유권을 쉽게 추적하고 문제를 신속하게 적절한 팀으로 연결하여 보안을 강화할 수 있게 합니다'병목 현상이 될 수 있습니다.
맥락적 우선순위 지정: 순위 문제는 단순한 심각도 점수가 아니라 실제 공격 경로를 기반으로 합니다.
그 후 자동화를 배선합니다. 모델 취약점, 잘못된 구성 또는 데이터 노출이 발견되면 자동으로 적절한 팀으로 전달되어야 합니다.
자동 정화 작업: 특정 조건이 충족될 때 티켓을 열거나 알림을 보내거나 파이프라인 장애를 유발하는 규칙을 만드세요. AI 복원 2.0AI 기반 제안을 받아 환경에 맞춘 구체적인 해결책을 추천해 해상도 향상과 수작업 작업을 줄일 수 있습니다.
시프트 레프트 기능: 데이터 과학자와 ML 엔지니어가 IDE, 노트북, CI 파이프라인에서 스캔 데이터를 볼 수 있도록 하여 문제를 조기에 수정할 수 있도록 하세요.
통합된 플랫폼은 이러한 아이디어들을 한 곳에 모아줍니다. 위즈 AI-SPM 위험한 구성 및 노출 여부를 평가합니다. Wiz 보안 그래프는 취약점, 잘못된 설정, 과도한 권한 등이 어떻게 결합되어 AI 모델과 학습 데이터를 위협할 수 있는 공격 경로가 되는지를 보여줍니다.
에이전트리스 커버리지를 사용하면 모델 서버에 무거운 에이전트를 추가하지 않고도 전체 스택 가시성을 얻을 수 있습니다. 데모 받아보세요 에이전트리스 스캐닝, 런타임 보호, 클라우드 AI 워크로드의 통합 가시성을 탐색하기 위해.
See Wiz AI-SPM in Action
Accelerate AI adoption securely with continuous visibility and proactive risk mitigation across your AI models, training data, and AI services.
