Estudo elaborado pela Stanford University registrou que o custo de inferência para um sistema no nível do GPT-3.5 despencou mais de 280 vezes entre novembro de 2022 e outubro de 2026, enquanto custos de hardware caíram cerca de 30% ao ano e a eficiência energética avançou 40% ao ano. As novas arquiteturas otimizadas para a inferência e o treinamento redefinem o destino do machine learning e deep learning, permitindo que experiências antes proibitivas se tornem viáveis comercialmente.

A nova fronteira exige processadores especializados e heterogêneos, com unidades próximas aos dados e instruções afinadas para tensores. Surgem neste contexto as TPUs (Tensor Processing Units) nos data centers e as NPUs (Neural Processing Units) nos dispositivos, além de GPUs de última geração e ASICs de alto desempenho para cargas de machine learning e deep learning. Há projeções que apontam que os AI PCs representarão 55% do mercado mundial até o fim de 2026, trazendo a discussão de “se” para “como” levar modelos ao mundo real no consumo e trabalho.

Na computação em nuvem, chips feitos sob medida para treinar e servir modelos gigantes influenciam cronograma, orçamento e competitividade em produção. Em treinamento, arquiteturas que oferecem conexões mais rápidas entre componentes e memórias projetadas para mover grandes volumes de dados reduzem o tempo necessário para aperfeiçoar modelos. Na fase de uso dos modelos, processadores especializados diminuem a espera por respostas e protegem informações ao realizar tarefas diretamente no dispositivo.