Exclusivo - OpenAI está insatisfeita com alguns chips da Nvidia e busca alternativas, dizem fontes

A decisão da Nvidia de adquirir talentos-chave da Groq pareceu um esforço para reforçar um portfólio de tecnologia para competir melhor em uma indústria de IA em rápida mudança, disseram executivos do setor de chips. A Nvidia, em comunicado, disse que a propriedade intelectual da Groq era altamente complementar ao roteiro de produtos da Nvidia.

ALTERNATIVAS À NVIDIA

Os chips gráficos da Nvidia são bem adaptados para o processamento massivo de dados necessário para treinar grandes modelos de IA como o ChatGPT, que sustentaram o crescimento explosivo da IA globalmente até agora. Mas os avanços em IA focam cada vez mais no uso de modelos treinados para inferência e raciocínio, que pode ser um novo e maior estágio da IA, inspirando os esforços da OpenAI.

A busca da OpenAI por alternativas de GPU desde o ano passado concentrou-se em empresas que constroem chips com grandes quantidades de memória embutida na mesma peça de silício que o restante do chip, chamada SRAM. Adicionar o máximo possível de SRAM cara em cada chip pode oferecer vantagens de velocidade para chatbots e outros sistemas de IA ao processar solicitações de milhões de usuários.

A inferência requer mais memória do que o treinamento porque o chip precisa gastar relativamente mais tempo buscando dados na memória do que realizando operações matemáticas. A tecnologia de GPU da Nvidia e AMD depende de memória externa, o que adiciona tempo de processamento e diminui a velocidade com que os usuários podem interagir com um chatbot.

Dentro da OpenAI, o problema tornou-se particularmente visível no Codex, seu produto para criação de códigos de computador, que a empresa tem promovido de forma agressiva, acrescentou uma das fontes. Funcionários da OpenAI atribuíram algumas das fraquezas do Codex ao hardware baseado em GPU da Nvidia, segundo uma fonte.

Em uma ligação com repórteres em 30 de janeiro, o CEO Sam Altman disse que clientes que usam os modelos de codificação da OpenAI vão “dar grande importância à velocidade para trabalhos de programação.”

Uma das formas que a OpenAI utilizará para atender a essa demanda é através do acordo recente com a Cerebras, disse Altman, acrescentando que a velocidade é menos crítica para usuários casuais do ChatGPT.

Produtos concorrentes como o Claude, da Anthropic, e o Gemini, do Google, se beneficiam de implantações que dependem mais fortemente dos chips desenvolvidos internamente pelo Google, chamados de unidades de processamento tensorial (TPUs), que são projetados para o tipo de cálculos exigidos para inferência e podem oferecer vantagens de desempenho sobre chips de IA de uso geral como as GPUs projetadas pela Nvidia.

NVIDIA EM MOVIMENTO

À medida que a OpenAI deixava claras suas reservas sobre a tecnologia da Nvidia, a Nvidia procurou empresas que trabalham com chips ricos em SRAM, incluindo Cerebras e Groq, sobre uma possível aquisição, disseram as fontes. A Cerebras recusou e firmou um acordo comercial com a OpenAI anunciado no mês passado. A Cerebras não quis comentar.

A Groq manteve conversas com a OpenAI para um acordo de fornecimento de poder computacional e recebeu interesse de investidores para financiar a empresa com uma avaliação de aproximadamente US$ 14 bilhões, segundo pessoas familiarizadas com as discussões. A Groq não quis comentar.

Mas em dezembro, a Nvidia passou a licenciar a tecnologia da Groq em um acordo não exclusivo e totalmente em dinheiro, disseram as fontes. Embora o acordo permita que outras empresas licenciem a tecnologia da Groq, a empresa agora está focada em vender software baseado em nuvem, já que a Nvidia contratou os projetistas de chips da Groq.

(Reportagem de Max A. Cherney, Krystal Hu e Deepa Seetharaman em San Francisco; edição de Kenneth Li, Peter Henderson e Nick Zieminski)