A IA DeepSeek tem falhas de segurança críticas que deixam a tecnologia totalmente vulnerável a ataques, de acordo com testes feitos pela Cisco. Os resultados foram divulgados na sexta-feira (31), apontando uma grande facilidade para “desbloquear” o chatbot e utilizá-lo em atividades maliciosas.
No experimento, uma espécie de jailbreaking, foram usados 50 prompts aleatórios do conjunto de dados HarmBench, abrangendo seis categorias, entre as quais crimes cibernéticos, desinformação e prompts químicos e biológicos. O teste serve para verificar a facilidade com que é possível contornar as diretrizes e políticas de uso da IA.
Reforço na segurança do DeepSeek
Conforme os pesquisadores que realizaram o estudo, três elementos podem ser a causa do baixo desempenho da IA chinesa no teste: aprendizado por reforço, autoavaliação de cadeia de pensamento e destilação. Esses métodos de treinamento econômicos teriam comprometido os mecanismos de segurança da plataforma.
Diante do péssimo resultado, eles sugeriram que a startup sediada na China tome medidas para mudar o cenário. “Nossa pesquisa ressalta a necessidade urgente de uma avaliação rigorosa de segurança no desenvolvimento de IA para garantir que avanços em eficiência e raciocínio não ocorram às custas da segurança”, destacou a Cisco.
Comentários
Postar um comentário