Demis Hassabis, um dos especialistas em inteligência artificial mais influentes do mundo, tem um alerta para o restante da indústria de tecnologia: não esperem que os chatbots continuem a melhorar tão rapidamente quanto nos últimos anos.
Pesquisadores de IA têm, há algum tempo, se baseado em um conceito relativamente simples para melhorar seus sistemas: quanto mais dados extraídos da internet são inseridos em grandes modelos de linguagem —a tecnologia por trás dos chatbots— melhor esses sistemas funcionam.
Mas Hassabis, que supervisiona o Google DeepMind, o principal laboratório de IA da empresa, agora diz que esse método está perdendo força simplesmente porque as empresas de tecnologia estão ficando sem dados.
“Todos na indústria estão vendo retornos decrescentes”, disse Hassabis este mês em uma entrevista ao The New York Times enquanto se preparava para receber um Prêmio Nobel por seu trabalho em IA.
Hassabis não é o único especialista em IA a alertar sobre uma desaceleração. Entrevistas com 20 executivos e pesquisadores mostraram uma crença generalizada de que a indústria de tecnologia está enfrentando um problema que muitos teriam considerado impensável há apenas alguns anos: eles usaram a maior parte do texto digital disponível na internet.
Esse problema está começando a surgir mesmo enquanto bilhões de dólares continuam a ser investidos no desenvolvimento de IA. Na semana passada, a Databricks, uma empresa de dados de IA, anunciou que estava se aproximando de US$ 10 bilhões (R$ 60 bilhões) em financiamento —a maior rodada de financiamento privado já registrada para uma startup. E as maiores empresas de tecnologia estão sinalizando que não têm planos de reduzir seus gastos com os enormes centros de dados que operam sistemas de IA.
Nem todos no mundo da IA estão preocupados. Alguns, incluindo o CEO da OpenAI, Sam Altman, dizem que o progresso continuará no mesmo ritmo, embora com algumas variações em técnicas antigas. Dario Amodei, CEO da startup de IA Anthropic, e Jensen Huang, CEO da Nvidia, também estão otimistas.
(O Times processou a OpenAI, alegando violação de direitos autorais de conteúdo de notícias relacionado a sistemas de IA. A OpenAI negou as acusações.)
As raízes do debate remontam a 2020, quando Jared Kaplan, um físico teórico da Universidade Johns Hopkins, publicou um artigo de pesquisa mostrando que grandes modelos de linguagem se tornavam progressivamente mais poderosos e realistas à medida que analisavam mais dados.
Os pesquisadores chamaram as descobertas de Kaplan de “Leis de Escalonamento”. Assim como os alunos aprendem mais lendo mais livros, os sistemas de IA melhoraram à medida que ingeriam quantidades cada vez maiores de texto digital extraído da internet, incluindo artigos de notícias, registros de bate-papo e programas de computador. Vendo o poder bruto desse fenômeno, empresas como OpenAI, Google e Meta correram para obter o máximo de dados da internet possível, cortando caminhos, ignorando políticas corporativas e até debatendo se deveriam contornar a lei, de acordo com uma investigação deste ano pelo Times.
Foi o equivalente moderno da Lei de Moore, o famoso ditado cunhado na década de 1960 pelo cofundador da Intel, Gordon Moore. Ele mostrou que o número de transistores em um chip de silício dobrava a cada dois anos, aumentando constantemente o poder dos computadores do mundo. A Lei de Moore se manteve por 40 anos. Mas, eventualmente, começou a desacelerar.
O problema é: nem as Leis de Escalonamento nem a Lei de Moore são leis imutáveis da natureza. São simplesmente observações inteligentes. Uma se manteve por décadas. As outras podem ter uma vida útil muito mais curta. Google e o novo empregador de Kaplan, Anthropic, não podem simplesmente jogar mais texto em seus sistemas de IA porque há pouco texto restante para jogar.
“Houve retornos extraordinários nos últimos três ou quatro anos enquanto as Leis de Escalonamento estavam em andamento”, disse Hassabis. “Mas não estamos mais obtendo o mesmo progresso.”
Hassabis disse que as técnicas existentes continuariam a melhorar a IA de algumas maneiras. Mas ele acredita que ideias completamente novas são necessárias para alcançar o objetivo que o Google e muitos outros estão perseguindo: uma máquina que possa igualar o poder do cérebro humano.
Ilya Sutskever, que foi fundamental em incentivar a indústria a pensar grande como pesquisador tanto no Google quanto na OpenAI antes de deixar a OpenAI para criar uma nova startup na primavera passada, fez o mesmo ponto durante um discurso este mês. “Alcançamos o pico de dados, e não haverá mais”, disse ele. “Temos que lidar com os dados que temos. Só existe uma internet.”
Hassabis e outros estão explorando uma abordagem diferente. Eles estão desenvolvendo maneiras para que grandes modelos de linguagem aprendam com seus próprios erros e acertos. Ao resolver vários problemas matemáticos, por exemplo, os modelos de linguagem podem aprender quais métodos levam à resposta correta e quais não. Em essência, os modelos treinam com dados que eles próprios geram. Os pesquisadores chamam isso de “dados sintéticos”.
A OpenAI lançou recentemente um novo sistema chamado OpenAI o1 que foi construído dessa maneira. Mas o método só funciona em áreas como matemática e programação de computadores, onde há uma distinção clara entre certo e errado.
Mesmo nessas áreas, os sistemas de IA têm uma maneira de cometer erros e inventar coisas. Isso pode dificultar os esforços para construir “agentes” de IA que possam escrever seus próprios programas de computador e tomar ações em nome dos usuários da internet, o que os especialistas veem como uma das habilidades mais importantes da IA.
Classificar as vastas extensões do conhecimento humano é ainda mais difícil.
“Esses métodos só funcionam em áreas onde as coisas são empiricamente verdadeiras, como matemática e ciência”, disse Dylan Patel, analista-chefe da empresa de pesquisa SemiAnalysis, que acompanha de perto o crescimento das tecnologias de IA. “As humanidades e as artes, problemas morais e filosóficos são muito mais difíceis.”
Pessoas como Altman dizem que essas novas técnicas continuarão a impulsionar a tecnologia. Mas se o progresso atingir um platô, as implicações podem ser de longo alcance, mesmo para a Nvidia, que se tornou uma das empresas mais valiosas do mundo graças ao boom da IA.
Durante uma ligação com analistas no mês passado, Huang foi questionado sobre como a empresa estava ajudando os clientes a lidar com uma potencial desaceleração e quais poderiam ser as repercussões para seus negócios. Ele disse que as evidências mostravam que ainda havia ganhos sendo feitos, mas que as empresas também estavam testando novos processos e técnicas em chips de IA.
“Como resultado disso, a demanda por nossa infraestrutura é realmente grande”, disse Huang.
Embora ele esteja confiante sobre as perspectivas da Nvidia, alguns dos maiores clientes da empresa reconhecem que devem se preparar para a possibilidade de que a IA não avance tão rapidamente quanto o esperado.
“Tivemos que lidar com isso. Isso é real ou não?” disse Rachel Peterson, vice-presidente de centros de dados da Meta. “É uma grande questão por causa de todos os dólares que estão sendo investidos nisso em todos os setores.”