A Anthropic anunciou o lançamento de um programa expandido de caça a vulnerabilidades, oferecendo a especialistas terceirizados em segurança cibernética até US$ 15.000 em recompensas pela identificação de problemas críticos em seus sistemas de inteligência artificial.
Fonte da imagem: Copiloto
A iniciativa visa encontrar “técnicas de evasão universais”, isto é, técnicas de hacking que possam contornar consistentemente as medidas de segurança da IA em áreas de alto risco, como ameaças químicas, biológicas, radiológicas e nucleares, bem como no domínio cibernético.
Curiosamente, esta abordagem difere das estratégias de outros grandes intervenientes no campo da IA. Por exemplo, OpenAI e Google têm programas de recompensas, mas concentram-se mais em vulnerabilidades de software tradicionais do que em explorações específicas da indústria de IA. Além disso, a Meta foi recentemente criticada por sua posição relativamente velada em relação à pesquisa de segurança de IA. Pelo contrário, o foco claro da Anthropic na abertura estabelece um novo padrão de transparência nesta questão.
No entanto, a eficácia dos programas de verificação de vulnerabilidades na abordagem de toda a gama de problemas de segurança da IA permanece controversa. Os especialistas observam que poderá ser necessária uma abordagem mais abrangente, incluindo testes extensivos, melhor interpretabilidade e talvez novas estruturas de governação necessárias para garantir que os sistemas de IA se alinham globalmente com os valores humanos.
O programa começa como uma iniciativa apenas para convidados (testes fechados) em parceria com a renomada plataforma HackerOne, mas no futuro a Anthropic planeja expandir o programa, tornando-o aberto e criando um modelo independente separado para colaboração da indústria em segurança de IA.
