Startup processa Koi Security da Palo Alto Networks, dizendo que um relatório alucinado por IA a vinculou falsamente à espionagem chinesa

A MeetingTV processou a Palo Alto Networks depois que seu recém-adquirido negócio de inteligência de ameaças Koi Security publicou um blog que vinculava a inicialização de videoconferência e webinar a uma operação de espionagem corporativa chinesa. A queixa legal apresentada contra a Koi Security, seus pesquisadores e a Palo Alto Networks alega que a Koi usou um LLM para gerar o relatório de ameaças, o sistema de IA alucinava as descobertas sobre a MeetingTV e a loja de segurança as publicou como fatos em um blog de 30 de dezembro. Ele acusa Koi de “publicação imprudente de um relatório de segurança cibernética baseado em IA que acusou falsamente a Requerente MeetingTV Inc.

de conduta criminosa, incluindo a operação de infraestrutura básica para uma organização criminosa chinesa bem financiada que executa uma campanha de malware e espionagem corporativa em grande escala”, de acordo com documentos judiciais [PDF]. “As falsas atribuições foram o produto direto da confiança não supervisionada de Koi em sua plataforma analítica proprietária ‘Wings’, que gerou correlações errôneas entre os negócios do Requerente e um suposto ator cibercriminoso que eles chamaram de DarkSpectre”, continua o processo. Um porta-voz da Palo Alto Networks disse ao The Register que a empresa “está ciente do processo movido pela MeetingTV Inc.

em relação a um relatório de pesquisa de ameaças publicado pela Koi Security antes da aquisição”, mas se recusou a responder às nossas perguntas específicas sobre as alegações da MeetingTV e do blog Koi. “Acreditamos que a investigação de segurança cibernética da Koi reflecte o seu compromisso em identificar e expor ameaças aos utilizadores e empresas, e esperamos que esta disputa seja resolvida através do processo legal apropriado”, disse o porta-voz. O blog de Koi, que desde então foi editado silenciosamente para remover referências ao produto da MeetingTV chamado Zoomcorder, originalmente rotulou o serviço de gravação de reuniões como uma “frente voltada ao público” para uma operação criminosa chinesa e disse que emprestou “credibilidade à infraestrutura enquanto servia como um canal de monetização” – alegações que a MeetingTV contesta em seu processo.

O blog também afirmou que a operação estava por trás de uma campanha de 2,2 milhões de usuários que roubou informações de reuniões corporativas. Como resultado do relatório, diz a MeetingTV, empresas de segurança e provedores de serviços em todo o mundo bloquearam os domínios e serviços da MeetingTV, rotulando-os como malware e infraestrutura de comando e controle. O fundador e CEO da startup, o empresário de longa data Michael Robertson, nos disse que os blocos foram a única maneira pela qual ele descobriu o relatório Koi.

De acordo com Robertson, Koi não entrou em contato com a MeetingTV antes de publicar seu relatório de ameaças. “Mesmo depois da publicação, eles nunca nos contataram”, disse ele ao The Register. "Eu estava entrando em contato com as empresas de segurança, uma por uma, pedindo-lhes que nos desbloqueassem.

A maioria nunca responde de forma alguma, mas uma delas finalmente respondeu e nos disse que estava nos bloqueando por causa do relatório Koi e nos deu o URL." Robertson diz que ainda está enfrentando dificuldades, já que fornecedores como Verizon e Palo Alto Networks, que concluíram a aquisição da Koi em abril, continuam a bloquear sua startup. “Se as pessoas na Internet forem impedidas de entrar em contato com sua empresa, isso será uma sentença de morte”, disse ele. "Além disso, todos os LLMs agora dizem que estamos trabalhando com criminosos cibernéticos chineses.

Como isso será removido?" Após o fechamento da aquisição, Robertson enviou um e-mail diretamente ao CEO da Palo Alto, Nikesh Arora, e pediu-lhe que tomasse medidas. “Agora sua empresa é dona da Koi e continua a publicar e confiar em relatórios falsos”, dizia o e-mail. "Nosso domínio e subdomínios do Google são bloqueados e rotulados como malware e comando e controle por sua empresa e outras pessoas ao redor do mundo...

Remova o relatório falso que está nos difamando e em seu lugar coloque uma retratação completa. Remova nossos domínios de sua própria lista negra e ajude a removê-los de outras pessoas que estão nos bloqueando por causa do relatório Koi." O blog de dezembro vinculou o Zoomcorder à campanha Zoom Stealer, atribuída ao ator chinês DarkSpectre, por meio de uma extensão de navegador identificada como “Twitter X Video Downloader”. De acordo com Robertson e o processo, porém, essa extensão não existe – e Koi “se recusou a fornecer informações” sobre o software quando a MeetingTV o solicitou.

“A teoria do ator único de Koi baseava-se em um ‘pivô’ técnico fabricado – um único software que eles identificaram repetidamente como a extensão ‘Twitter X Video Downloader’”, alega o processo. “Esta suposta extensão foi descrita como a ponte crítica que conecta a campanha Zoom Stealer (definida inteiramente pela infraestrutura do Requerente) ao ShadyPanda, infraestrutura central do DarkSpectre.” Robertson disse acreditar que Koi usou um LLM para gerar o relatório de ameaça, e isso alucinava descobertas sobre o produto Zoomcorder da MeetingTV que a loja de segurança publicou como fatos. “Eles admitem usar IA para suas análises”, disse Robertson.

"Talvez um humano tenha inventado tudo? Talvez tenha sido IA? O que está claro é que, se o software não existir, mesmo a análise mais rudimentar será impossível de ser feita, mas eles rotularam nossos URLs, serviços e software como criminosos." O panorama geral de tudo isso, de acordo com Robertson, é que sabemos que os sistemas de IA têm alucinações.

As suas descobertas não devem ser aceites como factos sem qualquer revisão humana. “Estamos às portas de uma era em que a IA será usada para tomar decisões críticas que alterarão a vida das pessoas: você pagou seus impostos, qual deveria ser sua classificação de crédito, será admitido na universidade, se qualificará para o empréstimo à habitação, se estiver na lista de exclusão aérea, etc.”, disse Robertson. "Serão estes feitos sem supervisão humana?

As pessoas terão o devido processo - verão as acusações contra elas, apresentarão as suas próprias provas, terão um árbitro neutro? Nada disso aconteceu no nosso caso", continuou ele. “Eles simplesmente nos declararam criminosos e publicaram isso para o mundo.”®