A “lei” computacional que tornou a Nvidia a empresa mais valiosa do mundo está começando a se desintegrar. Não se trata da famosa Lei de Moore, o princípio da indústria de semicondutores que prevê que o desempenho dos chips aumentará ao dobrar a densidade de transistores a cada dois anos.
Para muitos no Vale do Silício, a Lei de Moore foi substituída como principal preditor de progresso tecnológico por um novo conceito: a “lei de escalabilidade” da IA (inteligência artificial). Esta postula que colocar mais dados em um modelo de IA maior —o que, por sua vez, requer mais poder de computação— resulta em sistemas mais inteligentes.
Essa percepção impulsionou o progresso da IA, transformando o foco do desenvolvimento de resolver problemas científicos difíceis para o desafio mais direto de engenharia de construir clusters cada vez maiores de chips —geralmente da Nvidia.
A lei de escalabilidade teve seu momento de destaque com o lançamento do ChatGPT. O ritmo acelerado de melhoria nos sistemas de IA nos dois anos desde então parecia sugerir que a regra poderia se manter verdadeira até atingirmos algum tipo de “superinteligência”, talvez nesta década.
No último mês, no entanto, os rumores na indústria aumentaram, indicando que os modelos mais recentes de empresas como OpenAI, Google e Anthropic não mostraram as melhorias esperadas de acordo com as projeções da lei de escalabilidade.
“Os anos 2010 foram a era da escalabilidade, agora estamos de volta à era do maravilhamento e descoberta novamente”, disse recentemente Ilya Sutskever, cofundador da OpenAI, à Reuters. Este é o homem que, há um ano, disse acreditar que era “bastante provável que toda a superfície da Terra fosse coberta com painéis solares e centros de dados” para alimentar a IA.
Até recentemente, a lei de escalabilidade era aplicada ao “pré-treinamento”: a etapa fundamental na construção de um grande modelo de IA. Agora, executivos, pesquisadores e investidores de IA estão admitindo que as capacidades dos modelos de IA estão —como Marc Andreessen colocou em seu podcast— “atingindo o limite” apenas com o pré-treinamento, o que significa que mais trabalho é necessário após a construção do modelo para continuar avançando.
Alguns dos primeiros adeptos da lei de escalabilidade, como o chefe da Microsoft, Satya Nadella, tentaram redefinir sua definição. Não importa se o pré-treinamento oferece retornos decrescentes, argumentam os defensores, porque os modelos agora podem “raciocinar” quando questionados com uma pergunta complexa. “Estamos vendo a emergência de uma nova lei de escalabilidade”, disse Nadella recentemente, referindo-se ao novo modelo o1 da OpenAI. Mas esse tipo de ajuste deve deixar os investidores da Nvidia nervosos.
Claro, a “lei” de escalabilidade nunca foi uma regra infalível, assim como não havia um fator inerente que permitisse aos engenheiros da Intel continuar aumentando a densidade de transistores de acordo com a Lei de Moore. Em vez disso, esses conceitos servem como princípios organizadores para a indústria, impulsionando a competição.
No entanto, a hipótese da lei de escalabilidade alimentou o “medo de perder” a próxima grande transição tecnológica, levando a um investimento sem precedentes das grandes empresas de tecnologia em IA. Os gastos de capital da Microsoft, Meta, Amazon e Google devem ultrapassar US$ 200 bilhões este ano e superar US$ 300 bilhões no próximo ano, de acordo com o Morgan Stanley. Ninguém quer ser o último a construir a superinteligência.
Mas se maior não significa mais eficaz em IA, esses planos serão reduzidos? A Nvidia pode sofrer mais do que a maioria se isso acontecer. Quando a fabricante de chips divulgou seus lucros na semana passada, a primeira pergunta dos analistas foi sobre as leis de escalabilidade. Jensen Huang, CEO da Nvidia, insistiu que a escalabilidade do pré-treinamento estava “intacta”, mas admitiu que não é “suficiente” por si só.
A boa notícia para a Nvidia, argumentou Huang, é que a solução exigirá ainda mais de seus chips: a chamada “escalabilidade em tempo de teste”, já que sistemas de IA como o o1 da OpenAI precisam “pensar” por mais tempo para gerar respostas mais inteligentes.
Isso pode ser verdade. Enquanto o treinamento absorveu a maioria dos chips da Nvidia até agora, a demanda por poder de computação para “inferência” —ou como os modelos respondem a cada consulta individual— deve crescer rapidamente à medida que mais aplicações de IA surgem.
Pessoas envolvidas na construção dessa infraestrutura de IA acreditam que a indústria estará correndo atrás da inferência por pelo menos mais um ano. “Neste momento, este é um mercado que vai precisar de mais chips, não menos”, disse-me Brad Smith, presidente da Microsoft.
Mas a longo prazo, a corrida por chips para alimentar modelos cada vez maiores antes de serem lançados foi substituída por algo mais intimamente ligado ao uso da IA. A maioria das empresas ainda está em busca do aplicativo matador da IA, especialmente em áreas que exigiriam as capacidades de “raciocínio” emergentes do o1.
A Nvidia se tornou a empresa mais valiosa do mundo durante a fase especulativa da construção da IA. O debate sobre a lei de escalabilidade destaca o quanto seu futuro depende de as grandes empresas de tecnologia obterem retornos tangíveis sobre esses enormes investimentos.