[Esta é uma carta aberta publicada em março deste ano pelo Future of Life Institute, uma das principais organizações no mundo focadas na diminuição de riscos catastróficos globais e existenciais. No momento (outubro de 2023), ela possui mais de 30 mil assinaturas, incluindo as de Yoshua Bengio, Stuart Russell, Elon Musk, Steve Wozniak e Yuval Noah Harari.]
Apelamos a todos os laboratórios de IA para pausar imediatamente por pelo menos 6 meses o treinamento de sistemas de IA mais poderosos que o GPT-4.
Sistemas de IA com inteligência competitiva com relação aos humanos podem apresentar riscos profundos à sociedade e à humanidade, conforme demonstrado por extensas pesquisas[^1] e reconhecido por laboratórios de IA de renome.[^2] Conforme declarado nos amplamente endossados Princípios de IA de Asilomar, a IA Avançada poderia representar uma profunda mudança na história da vida na Terra e deveria ser planejada e gerida com um cuidado e recursos proporcionais. Infelizmente, esse nível de planejamento e gestão não está acontecendo, embora os últimos meses tenham presenciado laboratórios de IA presos numa corrida descontrolada para desenvolver e implementar mentes digitais cada vez mais potentes que ninguém – nem mesmo seus criadores – conseguem entender, prever ou controlar de forma confiável.
Sistemas de IA contemporâneos agora estão se tornando competitivos com relação aos humanos em tarefas gerais,[^3] e devemos nos perguntar: devemos deixar as máquinas inundar nossos canais de informação com propaganda e inverdades? Devemos automatizar todos os empregos, inclusive os gratificantes? Devemos desenvolver mentes não humanas que poderiam acabar nos substituindo, nos tornando obsoletos e nos superando em números e inteligência? Devemos arriscar a perda do controle da nossa civilização? Tais decisões não devem ser delegadas a líderes tecnológicos não eleitos. Sistemas de IA poderosos devem ser desenvolvidos somente quando estivermos confiantes que seus efeitos serão positivos e seus riscos serão geríveis. Essa confiança deve ser bem justificada e aumentar com a magnitude dos potenciais efeitos de um sistema. A declaração recente da OpenAI com respeito à inteligência geral artificial declara que “Em algum ponto, pode ser importante ter uma revisão independente antes de começar a treinar sistemas futuros, e que os esforços mais avançados concordem em limitar a taxa de crescimento de poder computacional utilizado para criar novos modelos”. Concordamos. O ponto é agora.
Portanto, apelamos a todos os laboratórios de IA para pausar imediatamente por pelo menos 6 meses o treinamento de sistemas de IA mais poderosos que o GPT-4. Essa pausa deve ser pública e verificável, e incluir todos os atores-chave. Se tal pausa não puder ser feita rapidamente, os governos deverão intervir e instituir uma moratória.
Laboratórios de IA e especialistas independentes devem usar essa pausa para desenvolver e implementar coletivamente um conjunto de protocolos de segurança em comum para o projeto e o desenvolvimento de IA avançada que sejam auditados e supervisionados rigorosamente por especialistas externos independentes. Esses protocolos devem garantir que os sistemas que aderirem a eles são seguros além de uma dúvida razoável.[^4] Isso não significa pausar o desenvolvimento de IA em geral, mas meramente recuar da perigosa corrida para modelos de caixa-preta imprevisíveis cada vez maiores com capacidades emergentes.
A pesquisa e o desenvolvimento de IA devem ser redirecionados para tornar os sistemas de última geração atuais mais precisos, seguros, interpretáveis, transparentes, resilientes, alinhados, confiáveis e leais.
Paralelamente, os desenvolvedores de IA devem trabalhar com os formuladores de políticas para acelerar dramaticamente o desenvolvimento de sistemas resilientes de governança da IA. Devem no mínimo incluir: autoridades regulatórias novas e capazes especializadas em IA; supervisão e rastreamento de sistemas de IA altamente capazes e de grandes reservatórios de capacidade computacional; sistemas de procedência e marca d´água para ajudar a distinguir o real do sintético e a rastrear vazamentos de modelos; um ecossistema de auditoria e certificação resiliente; responsabilização por danos causados por IA; um financiamento público robusto para a pesquisa técnica em segurança da IA; e instituições bem providas de recursos para lidar com as dramáticas perturbações econômicas e políticas (especialmente à democracia) que a IA causará.
A humanidade pode desfrutar de um futuro próspero com a IA. Tendo tido sucesso em criar poderosos sistemas de IA, podemos agora desfrutar de um “verão da IA” no qual colhemos as recompensas, projetamos esses sistemas para o claro benefício de todos e damos à sociedade a chance de se adaptar. A sociedade já apertou o botão de pausa com outras tecnologias com efeitos potencialmente catastróficos sobre a sociedade.[^5] Podemos fazer o mesmo aqui. Vamos desfrutar de um longo verão da IA, não nos apressar despreparados para um outono.
Notas:
[^1]: Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. Em Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. Em Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[^2]: Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[^3]: Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
[^4]: Existem abundantes precedentes legais: por exemplo, os amplamente adotados princípios de IA da OCDE requerem que sistemas de IA “funcionem adequadamente e não apresentem um risco de segurança irrazoável”.
[^5]: Exemplos incluem clonagem humana, modificação da linhagem germinativa humana, pesquisa de ganho de função e eugenia.
Publicada em 22 de março de 2023 aqui.
Tradução: Luan Marques.