Sam Altman, CEO da OpenAI, deixará o comitê interno de segurança criado pela empresa em maio para supervisionar decisões críticas relacionadas à segurança de seus projetos e operações. Em uma publicação no blog da OpenAI, a empresa revelou que o comitê de segurança será transformado em um grupo independente de supervisão, liderado pelo professor Zico Kolter, da Carnegie Mellon University.
Outros membros incluem Adam D’Angelo, CEO do Quora, o General aposentado Paul Nakasone, do Exército dos EUA, e a ex-vice-presidente da Sony, Nicole Seligman. Todos já faziam parte do conselho de administração da OpenAI.
Após a saída de Altman, o comitê — chamado Safety and Security Committee — conduziu uma revisão de segurança do o1, o modelo de inteligência artificial (IA) mais recente da OpenAI. Segundo a empresa, o grupo continuará recebendo relatórios periódicos das equipes de segurança e manterá o poder de adiar lançamentos caso as preocupações de segurança não sejam resolvidas.
Responsabilidades do Comitê de Segurança da OpenAI
O Safety and Security Committee terá a função de acompanhar avaliações técnicas de modelos atuais e futuros, além de monitorar o desempenho das IAs após seus lançamentos. A OpenAI afirmou que está aprimorando seus processos de lançamento, buscando critérios claros de sucesso para garantir a segurança e a integridade desses modelos.
Principais recomendações de segurança
A postagem no blog da OpenAI detalhou cinco áreas de melhoria nas práticas de segurança e governança que serão implementadas após uma revisão de 90 dias feita pelo comitê:
- Governança independente de segurança: o SSC se tornará um comitê independente de supervisão do conselho, responsável por monitorar os processos de segurança da OpenAI para o desenvolvimento e implantação de modelos de IA. O comitê tem a autoridade de adiar lançamentos de modelos caso identifique riscos de segurança.
- Aprimoramento de medidas de segurança: a OpenAI está expandindo suas operações de segurança para lidar com os riscos crescentes associados ao desenvolvimento de IA. Entre as iniciativas, a empresa está estudando a criação de um Information Sharing and Analysis Center (ISAC) para facilitar o compartilhamento de informações sobre ameaças cibernéticas no setor de IA.
- Transparência nos trabalhos de segurança: a empresa busca maior transparência, divulgando cartões de sistema que explicam as capacidades e riscos de seus modelos. No lançamento do GPT-4 e do o1, foram publicadas avaliações detalhadas sobre o trabalho de mitigação de riscos realizado.
- Colaboração com organizações externas: a OpenAI está intensificando colaborações com organizações independentes e laboratórios governamentais, como o Los Alamos National Labs, para aprimorar a segurança no uso de IA em ambientes científicos. Além disso, a empresa firmou acordos com institutos de segurança de IA nos EUA e no Reino Unido.
- Unificação de estruturas de segurança: a empresa está estabelecendo um quadro integrado de segurança para o desenvolvimento e monitoramento de seus modelos, com critérios claros de sucesso. Este quadro evoluirá à medida que os modelos se tornem mais complexos e poderosos, a fim de garantir a segurança em todas as etapas.
Pressão externa e críticas
A saída de Altman do comitê ocorre em meio a questionamentos feitos por cinco senadores norte-americanos sobre as políticas da OpenAI. Em uma carta enviada ao CEO, os senadores levantaram dúvidas sobre o compromisso da empresa com a regulamentação da IA.
Além disso, quase metade da equipe original da OpenAI, focada nos riscos a longo prazo da IA, deixou a empresa, e ex-pesquisadores acusaram Altman de se opor a uma regulamentação “real” da IA, favorecendo políticas que priorizam os interesses comerciais da empresa.
A OpenAI aumentou significativamente seus gastos com lobby federal, destinando US$ 800.000 para os primeiros seis meses de 2024, em comparação aos US$ 260.000 gastos em todo o ano anterior.
Altman também passou a integrar o Conselho de Segurança e Proteção da Inteligência Artificial do Departamento de Segurança Interna dos EUA, órgão que oferece recomendações sobre o desenvolvimento de IA em infraestruturas críticas do país.
Leia mais:
- ChatGPT: como publicar chatbot personalizado na GPT Store?
- Detector de IA: 5 sites para conferir se o texto foi escrito pelo ChatGPT
- Como aumentar quantidade de mensagens no ChatGPT 4o
Interesses comerciais da OpenAI
Mesmo com a saída de Altman do comitê, há indícios de que o grupo não tomará decisões que possam impactar negativamente a trajetória comercial da OpenAI. Em maio, a empresa afirmou que buscaria abordar críticas válidas através do comitê, embora o significado de “críticas válidas” seja relativo.
Em um artigo de opinião publicado em maio na revista The Economist, as ex-integrantes do conselho da OpenAI, Helen Toner e Tasha McCauley, expressaram ceticismo quanto à capacidade da empresa de se autogovernar de forma responsável. Elas argumentaram que “o autogoverno não pode resistir de maneira confiável à pressão dos incentivos ao lucro”.
Expansão e investimentos da OpenAI
Os incentivos financeiros da OpenAI têm crescido de forma significativa. A empresa está em negociações para arrecadar mais de US$ 6,5 bilhões em uma nova rodada de investimentos, o que elevaria o valor da OpenAI para mais de US$ 150 bilhões.
Para fechar o acordo, a OpenAI pode abandonar sua estrutura híbrida de organização sem fins lucrativos, que inicialmente limitava o retorno dos investidores, a fim de manter a empresa alinhada com sua missão original: desenvolver uma inteligência artificial geral que “beneficie toda a humanidade.”
O post Sam Altman deixa o comitê de segurança da OpenAI apareceu primeiro em Olhar Digital.
Fonte: https://olhardigital.com.br/2024/09/16/pro/sam-altman-deixa-o-comite-de-seguranca-da-openai/
