A corrida pela supremacia dos modelos omnimodais ganhou um novo capítulo nesta sexta-feira (18/09). A equipe Qwen, da Alibaba, anunciou oficialmente o Qwen3.8-Omni-Flash, sua nova geração de modelos nativos capazes de processar texto, imagem, áudio e vídeo em uma única janela de contexto de 1 milhão de tokens. Mais do que “entender” conteúdo multimodal, a proposta agora é agir sobre ele: planejar tarefas, chamar ferramentas e entregar trabalho criativo pronto — de vídeos editados e clipes musicais a atas de reunião e relatórios de pesquisa.

Os números divulgados pela companhia chamam atenção. Em 29 avaliações, o Qwen3.8-Omni-Flash eleva a média de desempenho em mais de 25% frente ao antecessor Qwen3.5-Omni-Plus. No bolso, a mudança é ainda mais radical: o preço por hora de entrada de áudio na API caiu mais de 98%, e o de entrada audiovisual, mais de 93%. Em desempenho, a Alibaba afirma que o modelo já supera o Gemini 3.8 Flash, do Google, no conjunto de tarefas de áudio, e fica muito próximo do rival nas avaliações audiovisuais.

De “entender” a “entregar”: Agentes audiovisuais entram em produção

O modelo estende capacidades agênticas — antes restritas a código, operação de interfaces e trabalho textual — para fluxos centrados em áudio e vídeo. Entre as demonstrações estão edição de vídeo, o fluxo Music2MV (criação de clipes musicais com letras sincronizadas linha a linha por timestamps), tradução de short dramas com clonagem de voz e dublagem dos personagens originais, e comentários cinematográficos de filmes de duas a três horas, com narração, trilha, mixagem e renderização finais.

No modo de compreensão agêntica, o modelo decide sozinho o que assistir e ouvir em vídeos longos: no benchmark OmniVideoBench, a precisão subiu de 63,4 para 67,8 enquanto o consumo de tokens caiu cerca de 45,7% (de 145.736 para 79.117 por consulta).

Reuniões de até uma hora, com ata e ações inclusas

O Qwen3.8-Omni-Flash suporta nativamente até uma hora de entrada audiovisual, reconhecendo falantes conjuntamente no áudio e no vídeo. Ele executa segmentação de speakers, transcrição e alinhamento de identidades de ponta a ponta, gera atas, identifica action items e analisa riscos de projeto — e, combinado a ferramentas, pode enviar e-mails, organizar tarefas e até começar a codar a partir do que foi discutido. O modelo ainda conduz “deep research” a partir de vídeos, cruzando o conteúdo com fontes multimodais da web para produzir relatórios ilustrados.

Versão Realtime: Conversa ao vivo e “audição espacial”

Para fluxos contínuos e de baixa latência, a empresa lançou o Qwen3.8-Omni-Flash-Realtime, com conexão via WebSocket e WebRTC. Entre os destaques estão a prática de conversação em tempo real tolerante a sotaques e a percepção de áudio espacial omnimodal — descrita como a primeira capacidade do tipo a localizar alvos apenas pelo som, combinando direção e distância de fontes sonoras com visão para planejar rotas e navegar. Medido em produção, o tempo até o primeiro pacote de áudio fica entre cerca de 978 ms e 1,35 s.

Um modelo que treina outros modelos

Em um dos experimentos mais curiosos, o Qwen3.8-Omni-Flash recebeu a missão de melhorar, em 12 horas, o reconhecimento do dialeto sichuanês no Qwen2.5-Omni-3B. O agente criou 3.413 exemplos de treino em quatro rodadas de experimentos e reduziu a taxa de erro de caracteres de 25,79% para 15,30% — queda relativa de cerca de 40,7%.

Ecossistema aberto: Qwen-MM-Plugins e Qwen-Live Harness

Para sustentar fluxos longos, a equipe expandiu o Qwen-MM-Plugins (com plugins como omni-chatcut, omni-video2note, omni-skill-creator e omni-memory), compatível com harnesses como Codex, Claude Code, Qwen Code, Gemini CLI e OpenClaw, e open-sourcou o Qwen-Live Harness, runtime nativo para interação omnimodal em tempo real com memória, delegação de tarefas e gerenciamento de contexto, instalável via npm.

Benchmarks: Vitória ampla no áudio, disputa acirrada no resto

No WildClawBench-MM (uso de ferramentas multimodais), o modelo marca 71,0 contra 58,9 do Gemini 3.8 Flash; no UniClawBench, 69,6 contra 69,0. Em reconhecimento multi-falante o abismo é maior: DER de 3,4 no AliMeeting contra 72,6 do rival do Google. Já o Gemini leva vantagem em AgenticVBench (45,0 a 36,8), OmniGAIA (78,6 a 74,0) e em raciocínio de vídeo longo (LVOmniBench: 70,7 a 63,3). No texto, o Qwen3.8-Omni-Flash crava 63,3 no SWE-bench Pro, à frente dos 53,4 do Claude Opus 4.6 (Max).

Disponibilidade, idiomas e como acessar

O modelo já está disponível na Qianwen AI Platform (Alibaba Cloud), com API compatível com os protocolos OpenAI (Chat Completions e Responses) e o parâmetro reasoning_effort (xhigh, medium e low) para controlar profundidade de raciocínio e custo. O reconhecimento de fala cobre 74 idiomas — incluindo português — e 39 dialetos chineses; a geração de fala alcança 29 idiomas e 7 dialetos.

O lançamento reforça a estratégia da Alibaba de enfrentar o Google de frente no terreno omnimodal enquanto empurra um ecossistema aberto de plugins e harnesses — movimento que tende a acelerar a adoção de agentes audiovisuais na produtividade real de empresas e criadores de conteúdo.