O que é LLM Jacking?
O LLM jacking é uma técnica de ataque que os cibercriminosos usam para manipular e explorar os LLMs (grandes modelos de linguagem) baseados em nuvem de uma empresa. O LLM jacking envolve roubar e vender credenciais de contas na nuvem para permitir o acesso malicioso aos LLMs de uma empresa, enquanto a vítima, sem saber, cobre os custos de consumo.
Nosso investigação mostra que 7 em cada 10 empresas utilizam serviços de inteligência artificial (IA), incluindo ofertas de IA generativa (GenAI) de provedores de nuvem, incluindo Amazon Bedrock e SageMaker, Google Vertex AI e Serviço OpenAI do Azure. Esses serviços fornecem aos desenvolvedores acesso a modelos LLM como Claude, Jurassic-2, a série GPT, DALL-E, OpenAI Codex, Amazon Titan e Stable Diffusion. Ao vender acesso a modelos LLM, os cibercriminosos podem iniciar um efeito dominó prejudicial em vários pilares organizacionais.
Embora os agentes de ameaças possam realizar ataques de LLM jacking para roubar dados, eles geralmente vendem acesso ao LLM para uma rede maior de cibercriminosos. Isso é ainda mais perigoso porque amplia o escopo e a escala de possíveis ataques. Ao sequestrar os LLMs de uma empresa, qualquer cibercriminoso que compre credenciais de LLM baseadas em nuvem pode orquestrar ataques exclusivos.
LLM Security Best Practices [Cheat Sheet]
This 7-page checklist offers practical, implementation-ready steps to guide you in securing LLMs across their lifecycle, mapped to real-world threats.
Quais são as possíveis consequências de um ataque de jacking LLM?
Aumento dos custos de consumo
Quando os cibercriminosos realizam ataques de LLM jacking, os custos excessivos de consumo são a primeira repercussão. Isso ocorre porque os serviços GenAI e LLM baseados em nuvem, por mais benéficos que sejam, podem ser bastante caros para as empresas hospedarem. Portanto, quando os adversários vendem acesso a esses serviços e permitem o uso secreto e malicioso, os custos podem aumentar. De acordo com Pesquisadores, os ataques de jacking LLM podem resultar em custos de consumo de até US$ 46.000 por dia. Esse valor pode variar dependendo dos modelos de preços do LLM.
Armamento de LLMs corporativos
Se os modelos LLM de uma empresa não tiverem integridade ou não apresentarem proteções robustas, eles podem gerar resultados prejudiciais. Ao sequestrar modelos LLM específicos da organização ou arquiteturas LLM de engenharia reversa, os adversários podem usar o ecossistema GenAI de uma empresa como uma arma para ataques e atividades maliciosas. Por exemplo, ao manipular LLMs corporativos, os agentes de ameaças podem fazê-los gerar saídas falsas ou maliciosas para casos de uso de back-end e voltados para o cliente. Pode demorar um pouco para as empresas identificarem esse tipo de sequestro, momento em que o dano geralmente é feito.
Exacerbação de vulnerabilidades existentes do LLM
A adoção do LLM apresenta desafios de segurança inerentes. De acordo com OWASP, as 10 principais vulnerabilidades do LLM incluem injeção imediata, envenenamento de dados de treinamento, negação de serviço de modelo, divulgação de informações confidenciais, agência excessiva, excesso de confiança e roubo de modelo. Quando os cibercriminosos usam ataques de LLM jacking, eles exacerbam significativamente os riscos e vulnerabilidades inerentes associados aos LLMs.
Efeito de queda de neve de alto nível
Considerando a rapidez com que as empresas estão incorporando GenAI e LLMs em contextos de missão crítica, os ataques de LLM jacking podem ter sérias implicações de alto nível e longo prazo. Por exemplo, o LLM jacking pode expandir a superfície de ataque de uma empresa, resultando em violações de dados e outras explorações importantes.
Além disso, como a proficiência em IA é uma métrica crítica de reputação para as empresas de hoje, os ataques de LLM podem causar perda de confiança e respeito dos colegas e do público. Não se esqueça das consequências financeiras devastadoras do LLM jacking, que incluem margens de lucro mais baixas, perda de dados, custos de tempo de inatividade e honorários advocatícios.
Como funcionam os ataques de jacking LLM?
Em princípio, o LLM jacking é semelhante a ataques como Cryptojacking, onde os agentes de ameaças mineram secretamente criptomoedas usando o poder de processamento de uma empresa. Em ambos os casos, os agentes de ameaças usam os recursos e a infraestrutura de uma organização contra eles. No entanto, com ataques de LLM jacking, a mira do hacker está firmemente nos serviços LLM hospedados na nuvem e nos proprietários de contas na nuvem.
Para entender como funciona o LLM jacking, vamos olhar para ele de duas perspectivas. Primeiro, exploraremos como as empresas usam LLMs e, em seguida, passaremos para como os agentes de ameaças os exploram.
Como as empresas interagem com os serviços LLM hospedados na nuvem?
A maioria dos provedores de nuvem fornece às empresas uma interface fácil de usar e funções simples projetadas para adoção ágil do LLM. No entanto, esses modelos de terceiros não estão automaticamente prontos para uso. Primeiro, eles exigem ativação.
Para ativar os LLMs, os desenvolvedores precisam fazer uma solicitação aos seus provedores de nuvem. Os desenvolvedores podem fazer solicitações de algumas maneiras diferentes, inclusive por meio de formulários de solicitação simples. Depois que os desenvolvedores enviam esses formulários de solicitação, os provedores de nuvem podem ativar rapidamente os serviços LLM. Após a ativação, os desenvolvedores podem interagir com seus LLMs baseados em nuvem usando comandos de interface de linha de comando (CLI).
Lembre-se de que o processo de envio de um formulário de solicitação de ativação para um provedor de nuvem não é protegido por uma camada de segurança à prova de balas. Os agentes de ameaças podem facilmente fazer o mesmo, portanto, as empresas devem se concentrar em tipos adicionais de segurança de IA e LLM.
25 AI Agents. 257 Real Attacks. Who Wins?
From zero-day discovery to cloud privilege escalation, we tested 25 agent-model combinations on 257 real-world offensive security challenges. The results might surprise you 👀
Como os agentes de ameaças conduzem ataques de LLM jacking?
Agora que você entende como as empresas normalmente interagem com os serviços LLM hospedados na nuvem, vamos ver como os agentes de ameaças facilitam os ataques de LLM jacking.
Aqui estão as etapas que os agentes de ameaças seguem para orquestrar um ataque de LLM jacking:
Para vender credenciais de nuvem, os agentes de ameaças precisam roubá-las primeiro. Quando os pesquisadores descobriram pela primeira vez as técnicas de ataque de jacking LLM, eles rastrearam as credenciais roubadas para um sistema usando uma versão vulnerável do Laravel (CVE-2021-3129).
Depois que um agente de ameaça rouba credenciais de um sistema vulnerável, ele pode vendê-las em mercados ilícitos para outros cibercriminosos que podem comprá-las e aproveitá-las para ataques mais avançados.
Com credenciais de nuvem roubadas em mãos, os agentes de ameaças precisam avaliar seu acesso e privilégios administrativos. Para avaliar furtivamente os limites de seus privilégios de acesso à nuvem, os invasores cibernéticos podem aproveitar o
InvokeModel APIchamar.Mesmo que o
InvokeModel APIfor uma solicitação válida, os agentes de ameaças podem provocar um erro "ValidationException" definindo omax_tokens_to_samplepara -1. Esta etapa é simplesmente para verificar se as credenciais roubadas podem acessar os serviços LLM. Por outro lado, se um erro "AccessDenied" aparecer, os agentes de ameaças saberão que as credenciais roubadas não't têm privilégios de acesso exploráveis.
Os adversários também podem invocar GetModelInvocationLoggingConfiguration para descobrir as definições de configuração nos serviços de IA hospedados na nuvem de uma empresa. Lembre-se de que esta etapa depende das proteções e dos recursos de provedores e serviços de nuvem individuais. É por isso que, em alguns casos, os agentes de ameaças podem não ter visibilidade completa das entradas e saídas de LLM de uma empresa.
A realização de um ataque de LLM jacking não garante a monetização para os agentes de ameaças. No entanto, existem algumas maneiras pelas quais os agentes de ameaças podem garantir que o LLM jacking seja lucrativo. Durante uma autópsia de um ataque de jacking LLM, os pesquisadores descobriram que os adversários podem usar o servidor OAI Reverse Proxy de código aberto como um painel centralizado para gerenciar credenciais de nuvem roubadas com privilégios de acesso LLM.
Uma vez que os agentes de ameaças monetizam seus ataques de LLM jacking e vendem acesso aos modelos de LLM de uma empresa, não há como prever o tipo de dano que pode ocorrer. Outros adversários de diferentes origens e com motivos diversos podem comprar acesso ao LLM e usar a infraestrutura GenAI de uma empresa sem seu conhecimento. Embora as consequências dos ataques de jacking LLM possam inicialmente permanecer ocultas, as consequências podem ser catastróficas.
Táticas de prevenção e detecção de jacking LLM
Aqui estão algumas maneiras poderosas pelas quais as empresas podem se proteger contra ataques de LLM jacking:
Táticas de prevenção
Treinamento de modelo robusto:
Conjuntos de dados diversos e de alta qualidade: certifique-se de que o modelo seja treinado em uma ampla variedade de dados para evitar vieses e vulnerabilidades.
Treinamento contraditório: exponha o modelo a entradas mal-intencionadas para melhorar sua resiliência.
Aprendizado por reforço a partir de feedback humano (RLHF): Alinhe o modelo'com valores e expectativas humanas.
Validação de entrada estrita:
Filtragem: implemente filtros para bloquear prompts prejudiciais ou mal-intencionados.
Sanitização: Limpe as entradas para remover elementos potencialmente prejudiciais.
Limitação de taxa: limite o número de solicitações para evitar abusos.
Auditoria regular do modelo:
Avaliações de vulnerabilidade: identifique possíveis pontos fracos no modelo.
Detecção de viés: Monitore desvios não intencionais no modelo's saídas.
Monitoramento de desempenho: acompanhe o desempenho do modelo ao longo do tempo para detectar anomalias.
Documentação do modelo transparente:
Diretrizes claras: forneça instruções claras sobre como usar o modelo com responsabilidade.
Limitações: comunicar o modelo'limitações e possíveis vieses.
Aprendizado e adaptação contínuos:
Mantenha-se informado: mantenha-se atualizado sobre as últimas ameaças e contramedidas do LLM.
Atualizações de modelo: atualize regularmente o modelo para resolver novas vulnerabilidades.
Táticas de detecção
Detecção de anomalias:
Identificação de outliers: identifique comportamentos incomuns ou inesperados do modelo.
Análise estatística: Use métodos estatísticos para detectar desvios dos padrões normais.
Monitoramento de conteúdo:
Filtragem de palavras-chave: monitore as saídas de palavras-chave ou frases específicas associadas a conteúdo prejudicial.
Análise de sentimento: analise o sentimento do conteúdo gerado para identificar possíveis problemas.
Análise de estilo: detecte anomalias no estilo de escrita do conteúdo gerado.
Análise do comportamento do usuário:
Padrões incomuns: identifique o comportamento anormal do usuário, como solicitações rápidas ou prompts repetitivos.
Monitoramento de conta: monitore contas de usuário em busca de atividades suspeitas.
Verificação humana no circuito:
Garantia de qualidade: Empregue revisores humanos para avaliar a qualidade e a segurança do conteúdo gerado.
Mecanismos de feedback: colete comentários do usuário para identificar possíveis problemas.
Get an AI-SPM Sample Assessment
In this Sample Assessment Report, you’ll get a peek behind the curtain to see what an AI Security Assessment should look like.
Como o Wiz pode evitar ataques de jacking LLM
A inovadora solução de ferramenta AI-SPM da Wiz pode ajudar a prevenir e mitigar ataques de jacking LLM de se transformarem em desastres em grande escala. O Wiz AI-SPM pode ajudar a se defender contra o LLM jacking de várias maneiras:
Visibilidade abrangente: O Wiz AI-SPM fornece visibilidade completa dos pipelines de IA, incluindo serviços, tecnologias e SDKs de IA, sem a necessidade de agentes. Essa visibilidade ajuda as organizações a detectar e monitorar todos os componentes de IA em seu ambiente, incluindo LLMs, dificultando a exploração de invasores desconhecidos ou IA sombria Recursos.
Detecção de configurações incorretas: A plataforma impõe Práticas recomendadas de segurança de IA detectando configurações incorretas em serviços de IA com regras integradas. Isso pode ajudar a evitar vulnerabilidades que podem ser exploradas em ataques de LLM jacking.
Análise do caminho de ataque: O Wiz AI-SPM identifica e remove proativamente os caminhos de ataque aos modelos de IA, avaliando vulnerabilidades, identidades, exposições na Internet, dados, configurações incorretas e segredos. Essa análise abrangente pode ajudar a evitar possíveis pontos de entrada para tentativas de jacking LLM.
Segurança de dados para IA: A plataforma inclui Gerenciamento de Postura de Segurança de Dados (DSPM) especificamente para IA, que pode detetar automaticamente dados de treino confidenciais e remover as vias de ataque para os mesmos. Isso ajuda a proteger contra vazamento de dados que poderia ser usado em ataques de jacking LLM.
Detecção de ameaças em tempo real: O Wiz AI-SPM oferece proteção em tempo de execução contra comportamentos suspeitos originados de modelos de IA. Esse recurso pode ajudar a detectar e responder a tentativas de jacking LLM em tempo real, minimizando o impacto potencial.
Digitalização do modelo: A plataforma oferece suporte à identificação e verificação de modelos de IA hospedados, permitindo que as organizações detectem modelos maliciosos que podem ser usados em ataques de LLM jacking. Isso é particularmente importante para organizações que hospedam modelos de IA por conta própria, pois ajuda a lidar com os riscos da cadeia de suprimentos associados a modelos de código aberto.
Painel de segurança de IA: O Wiz AI-SPM fornece um painel de segurança de IA que oferece uma visão geral da postura de segurança de IA com uma fila priorizada de riscos. Isso ajuda os desenvolvedores de IA e as equipes de segurança a se concentrarem rapidamente nos problemas mais críticos, potencialmente incluindo vulnerabilidades que podem levar ao LLM jacking.
Ao implementar esses recursos, o Wiz AI-SPM ajuda as organizações a manter uma forte postura de segurança para seus sistemas de IA, tornando mais difícil para os invasores executarem com sucesso ataques de LLM jacking e outras ameaças relacionadas à IA.
