Os computadores são “máquinas de calcular” que, com o avanço de novas tecnologias, o uso de uma única unidade de processamento para tudo, a CPU (Unidade de Processamento Central), passou a ser insuficiente para determinadas tarefas, necessitando de processadores especializados. A GPU (Unidade de Processamento Gráfico) surgiu para acelerar o processamento gráfico, executando muitas operações semelhantes em paralelo. Com o tempo, essa mesma característica mostrou-se extremamente útil para outros tipos de cálculo, incluindo as operações matriciais utilizadas em inteligência artificial.
Já a NPU (Unidade de Processamento Neural) é uma unidade especializada em operações comuns na execução de redes neurais. Essas redes foram originalmente inspiradas, de maneira bastante simplificada, em conceitos de neurônios biológicos, mas hoje são essencialmente modelos matemáticos formados por grandes conjuntos de parâmetros e operações interligadas. É daí que vem sua importância para a IA, que será abordada no decorrer desse artigo.
Redes neurais
Redes neurais são modelos computacionais capazes de aprender relações e padrões a partir de grandes quantidades de dados. Em vez de programarmos diretamente todas as regras que o sistema deve seguir, criamos uma estrutura formada por muitas pequenas unidades de cálculo interligadas, chamadas de neurônios artificiais. Cada neurônio artificial é uma função matemática que recebe uma informação, calcula, envia a outro neurônio, que calcula, e assim por diante. Dessa forma, é possível treinar um modelo a cruzar muitos dados para se chegar à resposta mais satisfatória
Apesar de parecer confuso, a lógica é simples: a rede é um modelo de aprendizado de máquina que, durante o treinamento, ela ajusta seus parâmetros e valores internos (pesos) para aprender padrões a partir dos dados. A inferência acontece depois: é quando o modelo já treinado recebe uma nova entrada e calcula uma resposta. As NPUs presentes em computadores e celulares são voltadas principalmente para essa segunda etapa.
Um exemplo é a análise de uma imagem de um gato. Para saber se há um gato em uma foto, um algoritmo simples pode buscar uma forma geométrica de triângulos, para as orelhas, ou a procura de pelos e olhos com formato específico. Caso todas as buscas deem positivo, então é um gato. Isso pode gerar muitos resultados falsos. Na rede neural, o modelo analisa inúmeras características e as combina com os padrões incorporados em seus parâmetros durante o treinamento para estimar a probabilidade de haver ou não um gato na foto.
Imagem 01 – Rede Neural
CPU, GPU e NPU
Os computadores, em geral, possuem CPU e GPU. A CPU é o componente versátil, que trata de diversos cálculos dos softwares que estão sendo executados na máquina.
A GPU foi projetada para fazer muitas operações semelhantes simultaneamente — originalmente para gráficos. Esse paralelismo também combina muito bem com multiplicações de matrizes e outras operações de aprendizado de máquina.
O surgimento da NPU é para um objetivo ainda mais especializado e energeticamente eficiente em determinados tipos de carga de trabalho (workloads), especialmente nos dispositivos pessoais e em tarefas contínuas.
Quadro 1: Comparação das unidades de processamento
| Característica | CPU | GPU | NPU |
|---|---|---|---|
| Prioridade de projeto | Flexibilidade e baixa latência geral | Paralelismo e alto throughput | Eficiência em operações de redes neurais |
| Uso geral | Excelente | Bom, mas menos conveniente | Limitado |
| IA / matrizes | Boa em cargas menores | Excelente | Excelente em cargas compatíveis |
| Treinamento | Possível, pouco eficiente em escala | Principal escolha | Geralmente não é o foco |
| Inferência contínua | Pode ocupar CPU e gastar mais energia | Rápida, mas pode consumir mais | Um dos melhores cenários de uso |
| Flexibilidade de operadores | Muito alta | Alta | Menor e dependente do software responsável por executar o modelo (runtime) |
| Ponto forte | Executar quase qualquer código | Executar muito trabalho paralelo | Fazer IA compatível com menor gasto energético |
Como o computador executa tarefas de IA?
Esse é um dos pontos que mais geram confusão. Como a NPU é especializada para realizar tarefas repetidas em redes neurais, isso não significa que ela consegue executar melhor os modelos complexos de chatbot. A CPU e GPU também conseguem executar modelos de IA, mas suas arquiteturas são diferentes.
Uma tarefa pequena, irregular ou fortemente integrada à lógica do aplicativo pode continuar na CPU. Uma carga pesada e altamente paralelizável pode aproveitar melhor a GPU. Uma inferência contínua, otimizada e sensível ao consumo de energia pode ser direcionada à NPU.
Ou seja, o sistema operacional e os aplicativos são processados na unidade de processamento dedicada àquela tarefa. Dessa forma, diferentes unidades de processamento podem trabalhar simultaneamente: a CPU executa grande parte da lógica dos programas, a GPU assume gráficos e tarefas altamente paralelizáveis, enquanto a NPU pode executar inferências compatíveis com maior eficiência energética.
Por que a NPU é mais eficiente?
Como redes neurais e IA trabalham com muitas tarefas repetidas, dedicar continuamente essas operações na CPU ou manter recursos da GPU ativos para pequenas cargas de IA pode consumir mais energia do que utilizar um acelerador dedicado. Além do próprio cálculo, mover dados entre a memória e as unidades de processamento também consome energia. CPU, GPU e NPU precisam realizar essas transferências, mas uma NPU utiliza memórias locais e caminhos de dados especializados para reduzir parte dessa movimentação. Essa busca aumenta consideravelmente o consumo e tempo ao realizar a tarefa.
Já a NPU consome menos energia porque troca versatilidade por especialização. Ela possui hardware dedicado às operações mais comuns das redes neurais, utiliza grande paralelismo, trabalha eficientemente com formatos numéricos menores e procura manter os dados próximos das unidades de cálculo, reduzindo tanto o processamento desnecessário quanto a movimentação de informações pela memória.
Portanto, em vez de depender de acessos frequentes à memória principal, imagine uma linha de produção na qual os dados entram, passam por várias etapas e são reutilizados antes de voltar para a memória principal.
O que significa TOPS?
TOPS significa trillions of operations per second, ou trilhões de operações por segundo. Esses números viraram uma das principais métricas comerciais para NPUs.
Uma NPU de 45 TOPS, em teoria, consegue realizar até 45 trilhões de determinadas operações por segundo em condições específicas.
No entanto, TOPS não é uma medida completa de desempenho. Arquitetura, precisão numérica, largura de banda de memória, software, compiladores, eficiência do modelo e suporte a determinados operadores também influenciam muito o desempenho da máquina.
Em uma analogia, TOPS seria a potência pico de um motor de carro. É uma informação importante sobre sua capacidade, mas não permite, sozinha, saber quanto o carro acelera, quanto consome ou qual será seu desempenho em uma pista. Da mesma forma, dois chips com TOPS semelhantes podem apresentar desempenhos bastante diferentes em uma aplicação de IA.
Por que a NPU não é a melhor opção para LLMs?
Embora as NPUs tenham sido projetadas especificamente para acelerar redes neurais, isso não significa que sejam automaticamente a melhor opção para executar um grande modelo de linguagem (Large Language Model, ou LLM), como aqueles utilizados em muitos chatbots. Modelos menores e quantizados podem funcionar inteiramente em uma NPU compatível, mas, à medida que o tamanho e a complexidade aumentam, outros componentes do computador passam a ser igualmente importantes.
Um dos principais motivos é a memória. Um LLM pode possuir bilhões de parâmetros, que precisam estar disponíveis durante a geração de uma resposta. Mesmo utilizando técnicas de quantização para reduzir o tamanho do modelo, vários gigabytes de dados podem precisar ser acessados repetidamente.
Para ficar mais claro, dividimos o processamento em duas etapas. Antes de entrar no modelo, o texto é convertido em pequenas unidades chamadas tokens. Na etapa de “prefill”, o LLM processa o conjunto de tokens que compõe o prompt enviado pelo usuário. Esse tipo de trabalho combina muito bem com uma NPU, pois são operações paralelas e repetidas.
Depois começa a etapa conhecida como “decode”, na qual o modelo gera a resposta. A geração ocorre progressivamente: o modelo calcula um token, utiliza esse resultado para calcular o próximo e assim sucessivamente, como abordado no funcionamento da rede neural.
A cada novo token, grandes quantidades de parâmetros do modelo precisam ser consultadas novamente na memória. Como a geração também possui uma dependência sequencial entre os tokens, nem todo o enorme paralelismo disponível na NPU pode ser aproveitado da mesma maneira.
Nesse caso, a GPU possui muito mais vantagens. Além de ser extremamente paralela, ela costuma possuir uma arquitetura mais flexível e, nas GPUs de maior desempenho, uma grande largura de banda de memória. Isso pode torná-la mais adequada para determinadas etapas da geração de texto.
Então, uma forma inteligente é usar a GPU e NPU em conjunto, em vez de todo o modelo ser executado por um único tipo de processador. Assim, o sistema pode direcionar cada parte do trabalho para o hardware que realiza aquela tarefa com maior eficiência.
A NPU pode, por exemplo, acelerar o processamento inicial do prompt, reduzindo o tempo entre o envio da pergunta e o início da resposta. A GPU pode então assumir a parte em que sua largura de banda e flexibilidade oferecem vantagens, aumentando a velocidade de geração dos tokens.
Esse modelo híbrido é importante para a próxima geração de aplicações de IA local, nas quais desempenho, consumo de energia e tempo de resposta precisam ser equilibrados.
Afinal, qual o uso prático da NPU?
Atualmente, as NPUs estão sendo utilizadas para tarefas que necessitam de processamento em redes neurais, nas quais o uso da GPU seria menos eficiente energeticamente. Alguns exemplos são:
- Remoção de ruído, aprimoramento de áudio e detecção de voz.
- Desfoque de fundo, enquadramento automático e efeitos de câmera.
- Reconhecimento de objetos, segmentação, OCR e visão computacional.
- Transcrição de fala e modelos pequenos/otimizados de linguagem.
- representações numéricas de textos, imagens ou outros dados (embeddings) e classificação executados repetidamente em segundo plano.
- Parte de fluxos de IA que combinam texto, áudio e imagens (pipelines multimodais).
- Tarefas “sempre ligadas” em notebooks, celulares, câmeras e outros dispositivos de borda (edge).
- Todas essas tarefas podem ser executadas pela GPU, mas, como a NPU é desenvolvida para esses trabalhos contínuos sem necessitar de alto consumo energético, o uso em laptops e celulares faz uma diferença muito relevante na carga de bateria.
- Além disso, executar a inferência inteiramente no dispositivo pode reduzir a latência, permite funcionamento sem conexão quando o aplicativo foi projetado para isso e evita o custo computacional de enviar aquela inferência à nuvem. Também mantém determinados dados localmente, garantindo uma privacidade a mais (caso o aplicativo não envie informações pessoais para a rede)
A computação está se tornando heterogênea
Com a necessidade de unidades especializadas, ao pesquisar um computador ou peças para montagem, é necessário observar o desempenho de processamento das três unidades de processadores. Por isso, não basta olhar apenas para o modelo da CPU. Um notebook, por exemplo, pode possuir um Intel Core Ultra 9 de última geração e ainda ter uma GPU ou NPU inadequada para determinadas cargas de trabalho, como em jogos.
Isso também significa que comparar computadores ficará mais complicado.
Outro exemplo são dois computadores possuírem CPUs parecidas, mas NPUs muito diferentes. Uma aplicação pode usar a NPU de um equipamento e depender da GPU em outro. Em alguns casos, o software pode nem estar otimizado para o acelerador disponível.
Dessa forma, há que ter um cuidado na pesquisa de novos equipamentos. O computador e seus componentes devem atender as necessidades específicas do usuário, não buscando, necessariamente, o “melhor” CPU, GPU e NPU, mas a combinação que garanta uma boa experiência para o uso a que o aparelho se destina.
