A Califórnia lança um relatório de segurança de IA tão esperado

Em setembro passado, todos os olhos estavam no projeto de lei 1047 do Senado, ao chegar à mesa do governador da Califórnia, Gavin Newsom – e morreu lá enquanto ele vetou a parte da legislação.

O SB 1047 exigiria criadores de todos os grandes modelos de IA, particularmente aqueles que custam US $ 100 milhões ou mais para treinar, para testá -los em perigos específicos. Os denunciantes da indústria de IA não ficaram felizes com o veto, e a maioria das grandes empresas de tecnologia estavam. Mas a história não terminou aí. Newsom, que sentiu que a legislação era muito rigorosa e de tamanho único, encarregou um grupo de principais pesquisadores de IA para ajudar a propor um plano alternativo-que apoiaria o desenvolvimento e a governança da IA ​​generativa na Califórnia, juntamente com os corrimãos de guarda por seus riscos.

Na terça -feira, esse relatório foi publicado.

Os autores do “Relatório da Califórnia sobre política de fronteira” de 52 páginas disseram que os recursos de IA-incluindo as habilidades de “raciocínio” da cadeia de pensamentos-“melhoraram rapidamente” desde a decisão de Newsom de vetar o SB 1047. Usando estudos de caso históricos, pesquisa empírica, modelagem e simulações, sugeriram uma nova estrutura que exigiria mais transparecer. Seu relatório está aparecendo no cenário de uma possível moratória de 10 anos nos estados que regulam IA, apoiados por um congresso republicano e empresas como o OpenAI.

O relatório-co-liderado por Fei-FEI LI, co-diretor do Instituto Stanford de inteligência artificial centrada em humanos; Mariano-Florentino Cuéllar, presidente da Carnegie Endowment for International Peace; e Jennifer Tour Chayes, reitor da Faculdade de Computação da UC Berkeley, ciência de dados e sociedade – concluiu que a Frontier AI avanços na Califórnia poderia afetar pesadamente a agricultura, a biotecnologia, a tecnologia limpa, a educação, as finanças, a medicina e a transporte. Seus autores concordaram que é importante não sufocar a inovação e “garantir que os encargos regulatórios sejam tais que as organizações tenham os recursos para cumprir”.

Mas a redução de riscos ainda é fundamental, eles escreveram: “Sem salvaguardas adequadas … Al poderoso Al pode induzir graves e, em alguns casos, danos potencialmente irreversíveis”.

O grupo publicou uma versão preliminar de seu relatório em março para comentários públicos. Mas, desde então, eles escreveram na versão final, evidências de que esses modelos contribuem para os riscos de armas “químico, biológico, radiológico e nuclear (CBRN) … cresceu”. As empresas líderes, acrescentaram, relataram-se sobre picos nas capacidades de seus modelos nessas áreas.

Os autores fizeram várias alterações no rascunho do relatório. Eles agora observam que a nova política de IA da Califórnia precisará navegar rapidamente “realidades geopolíticas”. Eles acrescentaram mais contexto sobre os riscos que os grandes modelos de IA representam e adotaram uma linha mais difícil sobre a categorização das empresas para regulamentação, dizendo que um foco puramente em quanto calcular seu treinamento necessário não era a melhor abordagem.

As necessidades de treinamento da IA ​​estão mudando o tempo todo, escreveram os autores, e uma definição baseada em computação ignora como esses modelos são adotados em casos de uso do mundo real. Ele pode ser usado como um “filtro inicial para uma tela barata para entidades que podem justificar maior escrutínio”, mas fatores como avaliações iniciais de risco e avaliação de impacto a jusante são fundamentais.

Isso é especialmente importante porque o setor de IA ainda é o oeste selvagem quando se trata de transparência, com pouco acordo sobre as melhores práticas e “opacidade sistêmica em áreas-chave”, como como os dados são adquiridos, processos de segurança e segurança, testes de pré-lançamento e potencial impacto a jusante, escreveram os autores.

O relatório exige proteções de denunciantes, avaliações de terceiros com porto seguro para pesquisadores que conduzem essas avaliações e compartilhando informações diretamente com o público, para permitir a transparência que vai além do que as empresas atuais de IA optam por divulgar.

Um dos principais escritores do relatório, Scott Singer, disse A beira O fato de as conversas de política de IA “mudaram completamente o nível federal” desde o rascunho do relatório. Ele argumentou que a Califórnia, no entanto, poderia ajudar a liderar um “esforço de harmonização” entre os estados para “políticas de senso comum que muitas pessoas em todo o país apoiam”. Isso contrasta com a colcha de retalhos confusa que os apoiadores da moratória da IA ​​afirmam que as leis estaduais criarão.

Em um edifício no início deste mês, o Antrópico CEO Dario Amodei pediu um padrão federal de transparência, exigindo que as principais empresas de IA “divulguem publicamente nos sites de suas empresas … como eles planejam testar e mitigar a segurança nacional e outros riscos catastróficos”.

Mas mesmo etapas como essa não são suficientes, escreveram os autores do relatório de terça -feira, porque “para uma tecnologia nascente e complexa que está sendo desenvolvida e adotada em um ritmo notavelmente rápido, os desenvolvedores por si só são simplesmente inadequados em entender completamente a tecnologia e, especialmente, seus riscos e danos”.

É por isso que um dos principais princípios do relatório de terça-feira é a necessidade de avaliação de risco de terceiros.

Os autores concluíram que as avaliações de risco incentivariam empresas como OpenAI, Antrópico, Google, Microsoft e outros a ampliar a segurança do modelo, ajudando a pintar uma imagem mais clara dos riscos de seus modelos. Atualmente, as principais empresas de IA normalmente fazem suas próprias avaliações ou contratam contratados de segunda parte para fazê-lo. Mas a avaliação de terceiros é vital, dizem os autores.

Não apenas estão “milhares de indivíduos … dispostos a se envolver em avaliação de riscos, diminuindo a escala de equipes internas ou contratadas”, mas também grupos de avaliadores de terceiros têm “diversidade incomparável, especialmente quando os desenvolvedores refletem principalmente certas demográficas e geografias que geralmente são muito diferentes daquelas mais afetadas por IA”.

Mas se você está permitindo que os avaliadores de terceiros testem os riscos e pontos cegos de seus poderosos modelos de IA, você deve dar acesso a eles-para avaliações significativas, um muito de acesso. E isso é algo que as empresas hesitam em fazer.

Não é nem fácil para os avaliadores de segunda parte obter esse nível de acesso. A METR, uma empresa OpeniAi faz parceria para testes de segurança de seus próprios modelos, escreveu em um post de blog que a empresa não teve tanto tempo para testar o modelo O3 da OpenAI como com modelos anteriores, e que o OpenAI não deu acesso suficiente aos dados ou ao raciocínio interno dos modelos. Essas limitações, Metro, escreveu, “impedem que façam avaliações robustas de capacidade”. O Openai disse mais tarde que estava explorando maneiras de compartilhar mais dados com empresas como o METR.

Mesmo uma API ou divulgações dos pesos de um modelo pode não permitir que os avaliadores de terceiros tenham efetivamente os riscos, observou o relatório, e as empresas podem usar os termos de serviço “supressores” para proibir ou ameaçar ações legais contra pesquisadores independentes que descobrem falhas de segurança.

Em março passado, mais de 350 pesquisadores do setor de IA e outros assinaram uma carta aberta pedindo um “porto seguro” para testes de segurança independentes de IA, semelhantes às proteções existentes para testadores de segurança cibernética de terceiros em outros campos. O relatório de terça -feira cita essa carta e exige grandes mudanças, bem como opções de relatórios para pessoas prejudicadas pelos sistemas de IA.

“Mesmo políticas de segurança perfeitamente projetadas não podem impedir 100% dos resultados subseqüentes e adversos”, escreveram os autores. “À medida que os modelos de fundação são amplamente adotados, a compreensão dos danos que surgem na prática é cada vez mais importante”.