AI를 보호하기 위한 최고의 도구는 무엇인가요? 온라인에서 답을 검색하면 상당한 지식 격차를 알 수 있습니다. AI 기반의 SecOps 도구에 대한 정보는 많지만, AI 및 머신 러닝(ML) 애플리케이션을 위한 SecOps 운영을 지원하는 보안 도구에 대해서는 많은 정보를 얻을 수 없습니다. 이것이 바로 이 기사가 필요한 이유입니다.
이 블로그 게시물에서는 MLSecOps의 5가지 기본 영역을 검토하고, 조직에서 MLSecOps의 중요성이 커지고 있음을 살펴보고, 확인해야 할 6가지 흥미로운 오픈 소스 도구와 Wiz에서 제공하는 AI 보안 자세 관리 솔루션을 소개하여 MLSecOps 도구 환경에 대해 자세히 살펴보겠습니다.
State of AI in the Cloud [2025]
Based on the sample size of hundreds of thousands of public cloud accounts, our second annual State of AI in the Cloud report highlights where AI is growing, which new players are emerging, and just how quickly the landscape is shifting.
Get the report
MLSecOps 소개
MLSecOps 또는 AISecOps는 ML 및 AI 파이프라인을 대규모로 보호하기 위해 특별히 맞춤화된 SecOps 프로세스 및 모범 사례를 정의하는 것을 목표로 하는 새로운 분야입니다. SecOps와 MLOps의 핵심 요소를 결합한 MLSecOps는 기존 DevSecOps의 필수 보강으로 부상하여 AI 애플리케이션 및 MLOps의 고유한 문제를 해결합니다.
MLSecOps란 무엇입니까?
AI 애플리케이션 보안은 MLSecOps의 목표이며, MLSecOps는 2023년에 처음으로 더 많은 청중을 확보한 분야입니다.
MLSecOps는 여전히 매우 새롭지만(따라서 온라인 정보가 부족합니다!), 많은 리소스가 MLSecOps에 의해 옹호되고 있습니다. MLSecOps 커뮤니티. 이러한 기여 중 하나는 보안 팀이 집중할 수 있는 목표를 포함하여 MLSecOps의 5가지 기본 영역을 정의한 것입니다.
공급망 취약성: 전체 AI 공급망의 보안을 평가합니다.
모델 출처: AI 모델의 기원, 계통 및 진화를 수명 주기 전반에 걸쳐 추적합니다.
거버넌스, 위험 및 규정 준수(GRC): 내부 및 외부 규정 표준을 준수하기 위한 정책, 절차 및 통제를 수립합니다.
신뢰할 수 있는 AI: 내부 이해관계자와 외부 사용자 모두에게 투명하고 공정하며 책임질 수 있는 AI 시스템을 제공합니다.
적대적 기계 학습: 적대적 공격, 특히 모델의 동작에 영향을 미치려는 공격에 대한 테스트를 통해 AI 시스템을 보호합니다.
(이것은 MLSecOps 목표의 첫 번째 반복이며 시간이 지남에 따라 목록이 증가할 것으로 예상할 수 있습니다.)
MLSecOps 커뮤니티의 목록은 AI 애플리케이션의 두 가지 기본 측면, 즉 데이터 세트, 라이브러리, 프레임워크, 모델, 인프라 및 솔루션에 대한 오픈 소스 또는 타사 공급자에 대한 의존도를 다룹니다. AI 모델의 비결정론적 특성으로 인해 이해하고 보호하기 어려울 뿐만 아니라 완전히 제어할 수도 없습니다. 이 다섯 가지 영역에 집중함으로써 AI 보안, 기업은 조직과 사용자 모두에게 안전한 AI 애플리케이션을 출시할 수 있습니다.
조직은 MLSecOps를 어떻게 수용하고 있습니까?
MLSecOps는 임시 솔루션이 필요한 전문 분야입니다.
일부 대규모 조직은 이미 MLSecOps를 수용했지만 대부분의 조직은 여정을 막 시작했거나 시작을 고려하고 있습니다. MLSecOps를 시작하는 데 필요한 기술 지식과 리소스를 감안할 때 대부분의 비즈니스가 처음부터 시작하는 것이 합리적입니다.
그러나 AI 채택이 계속 증가함에 따라 MLSecOps가 모든 조직에 없어서는 안 될 필수품이 될 것으로 예상된다는 점을 고려하고 다음과 같은 새로운 규정을 고려할 때 EU AI 법 그리고 2023년 AI 보안에 관한 행정 명령가 시행됨에 따라 보안 팀은 AI 애플리케이션 보호를 최우선 과제로 삼아야 합니다.
The State of AI in the Cloud Report 2024
Did you know that over 70% of organizations are using managed AI services in their cloud environments? That rivals the popularity of managed Kubernetes services, which we see in over 80% of organizations! See what else our research team uncovered about AI in their analysis of 150,000 cloud accounts.
Download Report
상위 6개 오픈 소스 AI 보안 도구
올바른 도구를 선택하는 것이 AI 보안 태세를 강화하는 가장 좋은 방법입니다. 아래에서 사용 가능한 가장 흥미로운 오픈 소스 AI 보안 도구에 대해 알아볼 수 있습니다. 이러한 도구는 다양한 AI 모델 및 프레임워크에 널리 적용할 수 있는 것으로 선택되었지만 다음과 같은 다른 특수 오픈 소스 도구도 존재합니다 TensorFlow 모델 분석, 조직의 고유한 요구 사항을 충족하기 위해 조사할 가치가 있습니다.
이러한 오픈 소스 도구의 채택을 평가할 때는 유지 관리 및 지원이 제한될 수 있다는 점을 명심하십시오. 가장 안전한 선택은 타사 보안 제공업체에 의존하는 것입니다. 위즈의 AI 보안 태세 관리 기사의 끝에.
1. NB 방어
NB 방어 는 Protect AI에서 제공하는 AI 취약성 관리를 위한 JupyterLab 확장 및 CLI 도구입니다.
JupyterLab은 전 세계 데이터 과학 팀에서 가장 많이 사용되는 AI 모델 개발 환경입니다. NB Defense는 모델 개발 소스에서 직접 취약성 관리를 제공함으로써 팀이 ML 수명 주기 초기에 보안을 포함할 수 있도록 합니다. 또한 비보안 담당자가 간단하고 사용하기 쉬운 방식으로 신뢰할 수 있는 보안 제어를 직접 도입할 수 있습니다.
주요 기능: JupyterLab 내의 데이터 사이언티스트를 위한 상황별 지침과 보안 운영자를 위한 자동화된 고급 리포지토리 스캔을 제공하여 비밀 및 PII 데이터에서 CVE(Common Vulnerabilities and Exposures) 및 타사 라이선스에 이르기까지 취약성을 조기에 탐지합니다.
MLSecOps 중점 영역: 신뢰할 수 있는 AI, 통해 DevSecOps 및 취약성 분석
2. 적대적 견고성 도구 상자
적대적 견고성 도구 상자(ART) 는 Linux AI에서 호스팅하는 적대적 위협에 대한 ML 방어를 위한 Python 라이브러리입니다 & 데이터 파운데이션.
AI는 사용자 데이터를 추출하는 것부터 딥 페이크를 만들거나 잘못된 정보를 퍼뜨리는 것에 이르기까지 적대적 행위자에게 다양한 경로를 제공할 수 있습니다. ART는 개발자와 연구자 모두를 염두에 두고 만들어졌습니다: 라이브러리는 모든 데이터 유형에서 개발된 다양한 모델과 애플리케이션을 평가하고 AI에 대한 가장 일반적인 적대적 위협으로부터 방어할 수 있도록 지원합니다.
주요 기능: 사전 구축된 공격, 추정기, 방어, 평가 및 메트릭의 광범위한 카탈로그를 통해 회피, 중독, 추론 및 추출 적대적 공격을 방어합니다.
MLSecOps 중점 영역: 적대적 기계 학습(Adversarial machine learning) 빨강과 파랑 팀 구성
바보상자 그리고 클레버한스 ART와 유사한 두 개의 라이브러리도 확인해 볼 가치가 있습니다.
3. 가락
가락 는 Leon Derczynski가 만든 대규모 언어 모델(LLM)의 취약성 스캔을 위한 Python 패키지입니다.
AI 채택의 새로운 물결은 다음과 같은 LLM의 상용화와 함께 시작되었습니다. 챗GPT. LLM은 종종 타사 통합을 통해 비즈니스 잠재력을 발휘하기 위해 많은 조직에서 빠르게 채택되고 있습니다. 가락은 오픈AI(OpenAI)부터 허깅페이스(HuggingFace), 랭체인(LangChain)에 이르기까지 가장 인기 있는 모든 LLM을 스캔하여 보안을 유지할 수 있는 기능을 제공합니다.
주요 기능: LLM이 환각, 잘못된 정보, 유해한 언어, 탈옥, 다양한 유형의 취약성을 조사할 수 있도록 사전 정의된 취약성 스캐너를 제공합니다. 프롬프트 주입, 그 외 다수
MLSecOps 중점 영역: 적대적 기계 학습(Adversarial machine learning) 레드팀을 위한 LLM의 취약성 분석
4. 프라이버시 측정기
프라이버시 측정기 는 NUS Data Privacy and Trustworthy Machine Learning Lab에서 개발한 ML 모델의 데이터 프라이버시를 감사하기 위한 Python 라이브러리입니다.
AI 모델은 많은 양의 데이터에 대해 훈련됩니다. 학습 데이터 유출 AI 모델에 대한 가장 일반적이고 비용이 많이 드는 위협 중 하나입니다. Privacy Meter는 (거의) 모든 통계 및 ML 모델의 근본적인 개인 정보 보호 위험에 대한 정량적 분석을 제공하며, 데이터 레코드의 개별 및 집계 위험에 대한 광범위한 정보가 포함된 즉시 사용 가능한 보고서로 수집됩니다. 개인 정보 보호 점수를 사용하면 모델 매개 변수 또는 예측을 통해 유출될 위험이 높은 학습 데이터 레코드를 쉽게 식별할 수 있습니다.
주요 기능: 사전 정의된 다양한 개인 정보 보호 게임, 알고리즘 및 신호를 사용하도록 구성 타일을 통해 사용자 지정할 수 있는 최첨단 멤버십 추론 공격을 수행합니다.
MLSecOps 중점 영역: 위험 평가를 통한 신뢰할 수 있는 AI(특히 데이터 보호 영향 평가 프로세스의 일부)
5. AI 감사
AI 감사 는 pymetrics에서 제공하는 ML 바이어스 테스트를 위한 Python 라이브러리입니다.
AI 모델은 훈련 데이터에 제공된 패턴을 학습하고 그 안에 존재하는 편견과 차별을 영속화할 수 있습니다. Audit AI는 데이터 사이언티스트가 매우 친숙한 두 가지 라이브러리인 pandas와 sklearn을 기반으로 구축된 사용자 친화적인 패키지를 통해 통계 및 ML 모델에 대한 편향을 측정하는 방법을 제공합니다. 데이터 사이언티스트는 Audit AI에서 제공하는 편향 결과를 사용하여 편향을 완화할 수 있는 모델 개발 파이프라인의 변경을 추진할 수 있습니다.
주요 기능: Fisher의 z-test 및 Bayes factor와 같은 분류 및 회귀 작업을 위한 편향 테스트 및 알고리즘 감사 기법의 구현을 제공합니다.
MLSecOps 중점 영역: 수동 테스트 및 감사를 통한 신뢰할 수 있는 AI
6. AI 익스플로잇
AI 익스플로잇 는 Protect AI에서 유지 관리하는 실제 취약성에 대한 익스플로잇 및 스캔 템플릿 모음입니다.
보안 팀은 AI 익스플로잇에서 수집된 익스플로잇에 대해 AI 애플리케이션을 테스트하여 내부 SME가 제공하는 AI 전문 지식을 확장할 수 있습니다. Protect AI에서 수행한 연구와 Huntr Bug Bounty Platform에서 발견된 취약점을 기반으로 하는 이 실제 익스플로잇 컬렉션은 현재 AI 시스템을 보호하는 데 도움이 되는 것을 목표로 합니다. AI-Exploits는 타사 공급자를 심사하는 데도 도움이 됩니다.
주요 기능: 사전 구축된 도구를 통해 다양한 취약점을 검사합니다. 각 도구는 취약점을 악용하기 위한 모듈과 취약점을 자동으로 검사하는 템플릿으로 구성됩니다. 현재 원격 코드 실행, 로컬 파일 포함, 임의 파일 쓰기, 교차 사이트 요청 위조 및 서버 측 요청 위조에 대해서만 H2O, MLflow 및 Ray를 지원합니다.
MLSecOps 중점 영역: 공급망 취약성 및 적대적 기계 학습(Supply chain vulnerability and adversarial machine learning), 취약성 스캐닝 및 레드 팀 구성(vulnerable scanning and red teaming)을 통한
Wiz로 AI 보안을 강화하세요
클라우드 네이티브 AI 애플리케이션의 경우 다음을 신뢰할 수 있습니다. 위즈즈 AI 보안 태세 관리(AI-SPM) AI 애플리케이션을 보호합니다.
인공지능-SPM AI 서비스 및 기술을 자동으로 검색 및 문서화하여 AI-BOM을 생성함으로써 AI 파이프라인에 대한 전체 스택 가시성을 제공하여 사용자를 보호합니다. 그림자 AI. 또한 AI-SPM은 AI 서비스 및 IaC에서 잘못된 구성을 감지할 수 있는 기본 제공 규칙을 통해 안전한 구성 기준선을 적용하며, 정확한 위험 우선 순위를 지정하여 AI 모델 및 교육 데이터와 관련된 중요한 공격 경로를 사전에 발견하고 제거할 수 있습니다.
Wiz를 사용하면 AI 보안을 위한 최첨단 관리 인프라 및 서비스를 사용할 수 있으며, 이를 통해 AI 파이프라인을 위한 강력한 보안 계층을 지금 바로 설정할 수 있습니다. 를 방문하여 자세히 알아보세요. Wiz for AI 웹페이지. 원하는 경우 라이브 데모, 우리는 당신과 연결하고 싶습니다.
Develop AI Applications Securely
Learn why CISOs at the fastest growing companies choose Wiz to secure their organization's AI infrastructure.
