Se a IA pode programar, ela pode criar outras IAs sozinha? 🤖

Por Julien Romero - Professor de Inteligência Artificial, Télécom SudParis – Institut Mines-Télécom

Sistemas de inteligência artificial são capazes de escrever linhas de código e controlar um computador. O que impede que eles criem outras IAs?

No final de outubro de 2024, a Anthropic lançou Computer-Use, um programa que permite ao seu modelo de IA Claude controlar um computador como um humano. O que aconteceria se uma IA também pudesse acessar recursos financeiros para adquirir máquinas e serviços adicionais? Essa hipótese, embora exagerada, levanta uma questão fascinante. Uma IA poderia realmente se tornar autônoma e criar outras IAs sem intervenção humana?


Como veremos, grandes empresas como OpenAI, Facebook ou Google já usam IAs para treinar IAs cada vez mais complexas, e isso não é segredo, nem mesmo para as próprias IAs.

IAs treinando IAs

Para entender como isso é possível, precisamos voltar e explicar o que permitiu os avanços recentes. Tudo começou em 2017, quando uma equipe de pesquisadores do Google publicou um artigo científico: "Attention is all you need." Nessa publicação, os pesquisadores introduziram uma nova arquitetura neural chamada "Transformers" que aprende quais palavras "prestar atenção" para gerar a próxima palavra. Essa arquitetura Transformers agora estrutura todas as redes neurais das IAs modernas que geram texto.

O surgimento dos Transformers levou a OpenAI a lançar a primeira versão do GPT em 2018 para gerar texto. Embora os princípios fundamentais tenham evoluído pouco desde então, a escala e a ambição dos "modelos de linguagem de grande escala" (ou LLMs, na sigla em inglês) explodiram.

Assim, em maio de 2020, a chegada do GPT-3 marcou o início de uma categoria de IA capaz de modelar linguagens humanas usando redes neurais gigantescas, sejam linguagens naturais como o francês ou formais como C++ na ciência da computação. Note que modelar com estatísticas não significa entender com processos cognitivos, e essas IAs ainda produzem respostas absurdas para perguntas triviais.

Os modelos passaram de 1,5 bilhão de conexões para o GPT-2 para algumas centenas de bilhões para o GPT-3 e seus sucessores, o que corresponde a passar do cérebro de uma abelha para o de um hamster em termos do número de sinapses. No entanto, o aumento em seu tamanho desacelerou nos últimos anos e não é mais o principal motor de progresso hoje.

Precisamos olhar, em vez disso, para as mudanças metodológicas que ocorrem antes e depois do treinamento dos modelos.

Mais dados e de melhor qualidade

O treinamento de LLMs depende de textos que servem como referência para ensiná-los a prever a próxima palavra em uma frase. Para melhorar esse aprendizado, cada vez mais dados são usados: o GPT-2 foi treinado com 30 bilhões de palavras (organizadas em frases, parágrafos e textos), em comparação com onze trilhões para o LLaMa-3.

No entanto, nem todos os textos, principalmente vindos da web, são da mesma qualidade. Os engenheiros, portanto, usam algoritmos de limpeza e, mais recentemente, os próprios LLMs para melhorar, reformular ou gerar esses dados (por exemplo, para LLaMa-3 ou Qwen 2.5).

Assim, enquanto as IAs já estão participando do treinamento de outras IAs, essa prática ainda é limitada pela lentidão dos LLMs. O GPT-4 levaria cerca de 17.000 anos para gerar onze trilhões de palavras por conta própria (cerca de 500 terabytes de dados).

Uma vez que os dados são coletados, limpos e gerados, começa a fase real de aprendizado. Essa fase ainda é difícil de implementar e requer uma quantidade colossal de recursos computacionais, mas pouco mudou desde a primeira versão do GPT em 2018.

Guiando o aprendizado da IA fornecendo feedback construtivo

Por outro lado, os pesquisadores se concentraram em melhorar um LLM após seu treinamento. De fato, uma das preocupações de um LLM bruto é que ele é imprevisível e não corresponde necessariamente às necessidades humanas em termos de habilidades (recrutamento, diagnósticos médicos, matemática) ou comportamentos éticos e sociais (chatbot politicamente correto, não discriminatório e que respeita a lei).

A ideia, portanto, é calibrar os LLMs para que eles se conformem melhor às preferências de seus usuários. Para isso, a técnica de aprendizado por reforço com feedback humano pede a opinião de humanos sobre textos gerados e treina os LLMs para agradar aos humanos.

Esse processo permitiu um grande salto em 2022 com o InstructGPT, um precursor do ChatGPT. No entanto, é extremamente caro, pois requer muito trabalho manual. O LLaMa-3 exigiu a anotação de dez milhões de preferências por humanos. Esses trabalhadores são frequentemente mal pagos e em situações precárias.

É por isso que os pesquisadores estão buscando minimizar a assistência humana.

Quando as IAs treinam IAs

Em julho de 2024, uma equipe de cientistas da Microsoft publicou AgentInstruct, um novo método para ensinar novas habilidades e comportamentos a LLMs.

Esse método foca na criação de "agentes" especializados em muitos campos (matemática, código, medicina) que servem como professores para o sistema em treinamento. Nesse caso, um agente é ele mesmo um LLM, mas aumentado com dados e ferramentas externas adicionais, como uma calculadora, a Internet ou um compilador de código de computador. Melhor equipado e especializado do que um LLM sozinho, ele se destaca em seu campo de expertise. O AgentInstruct usa um batalhão de agentes para ensinar seu conhecimento a um LLM.

O resultado: o LLM progride sem acesso a nenhum outro recurso, ao contrário dos agentes. Por exemplo, um agente equipado com uma calculadora pode melhorar o cálculo mental de um LLM.

Da mesma forma, graças ao programa Computer-Use, o Claude poderia explorar muitas ferramentas de computador para coletar, limpar e organizar seus próprios dados, ou até mesmo treinar modelos de IA de forma mais autônoma, mobilizando agentes especializados. Pergunte a ele como ele poderia melhorar a si mesmo, e ele provavelmente dará uma resposta semelhante (ou sugerirá contratar um exército de humanos para anotar dados).

Mas então, como explicar que ele ainda não é capaz de se reproduzir e melhorar sozinho?

Antes de uma IA capaz de se reproduzir, um longo caminho técnico e questões éticas

Essa capacidade de criar agentes especializados levanta questões cruciais. Quem controla os agentes? Se as IAs participam de sua própria melhoria, como garantir que sua evolução permaneça ética e alinhada com os interesses humanos? O papel dos desenvolvedores e reguladores será central para evitar possíveis abusos.

Ainda não estamos lá por várias razões. Os LLMs atuais, embora poderosos, são limitados: eles lutam para planejar projetos complexos, exigem ajustes constantes durante seu treinamento e ainda dependem amplamente da intervenção humana, particularmente em data centers, para gerenciar e manter máquinas físicas.

Além disso, sem sua própria vontade, eles não podem definir objetivos autônomos, independentes das preferências humanas aprendidas. Sam Altman, CEO da OpenAI, menciona a possível emergência de uma inteligência artificial geral já em 2025, mas essa previsão permanece controversa, pois exigiria avanços técnicos e uma melhor compreensão dos mecanismos cognitivos humanos.

O sucesso dos LLMs depende de quatro pilares: aumentar seu tamanho, inovações arquitetônicas, melhorar as técnicas de calibração e aperfeiçoar os dados. Avanços recentes, particularmente a automação via agentes especializados, já mostram que as IAs estão desempenhando um papel cada vez maior na criação de outras IAs. No entanto, sem sua própria vontade ou verdadeira autonomia, a ideia de uma IA capaz de se multiplicar ou melhorar sozinha permanece ficção científica.

De fato, uma revolução dessa magnitude exigiria uma mudança de paradigma, com arquiteturas neurais capazes de uma inteligência verdadeiramente adaptativa e generalizada. Atualmente, uma vez que a fase de aprendizado termina, as redes neurais dos LLMs se tornam fixas: elas não podem mais evoluir ou adquirir novas habilidades de forma autônoma, mesmo após milhões de interações com usuários humanos.

Diferentemente dos humanos, que aprendem através do contato com outros ou por meio de reflexão interna, os LLMs não têm mecanismos para adaptar dinamicamente sua estrutura interna ou construir representações profundas e revisáveis do mundo externo. Yann LeCun, o vencedor francês do Prêmio Turing de 2019, imagina uma nova geração de IAs equipadas com modelos internos, capazes de simular hipóteses e planejar como um humano, integrando observações para compará-las com expectativas pré-existentes. No entanto, a implementação prática dessa visão permanece um desafio científico.

Talvez um avanço tão decisivo quanto o dos Transformers em 2017 ocorra nos próximos anos. Mas, por enquanto, a visão de inteligências artificiais totalmente autônomas, semelhantes a sondas de Von Neumann colonizando o universo, permanece hipotética.

Esse cenário, no entanto, nos convida a refletir hoje sobre as questões éticas e as salvaguardas legislativas e técnicas necessárias para enquadrar a evolução dessas tecnologias.