Aleph Alpha lança Kolibri, modelo MoE de pesos abertos com 78B voltado à soberania europeia
A empresa alemã de IA Aleph Alpha lançou o Kolibri, um modelo mixture-of-experts de pesos abertos com 78 bilhões de parâmetros, janela de contexto de 1 milhão de tokens e total conformidade com o EU AI Act.
A desenvolvedora alemã de IA Aleph Alpha lançou oficialmente o Kolibri, um modelo de linguagem bilíngue de pesos abertos projetado para defender a soberania tecnológica europeia. Disponibilizado sob a licença permissiva Apache 2.0 no Hugging Face, o modelo é voltado para casos de uso corporativos e do setor público em toda a Europa.
O Kolibri conta com uma arquitetura mixture-of-experts (MoE) com 78 bilhões de parâmetros no total, ativando aproximadamente 3 bilhões de parâmetros por token durante a inferência. A arquitetura foi projetada para equilibrar desempenho e custo de inferência, com a Aleph Alpha relatando que o modelo se posiciona na fronteira de Pareto entre qualidade e despesas operacionais tanto para o alemão quanto para o inglês.
Desempenho em Benchmarks e Arquitetura
O Kolibri demonstra velocidade e precisão competitivas, alcançando uma pontuação de 71% em benchmarks do idioma alemão. De acordo com a Aleph Alpha, o modelo atinge velocidades de decodificação mais rápidas do que arquiteturas comparáveis com parâmetros ativos leves, incluindo GPT OSS A5B, Qwen 3.6 A3B e Gemma 4 A4B.
Além de sua estrutura MoE, o Kolibri suporta uma ampla janela de contexto de até um milhão de tokens, permitindo o processamento e a recuperação de documentos extensos e repositórios de dados corporativos em um único prompt.
Infraestrutura de Treinamento e Pipeline de Dados
Para construir o Kolibri, a Aleph Alpha treinou o modelo em 768 GPUs Nvidia B200 hospedadas em data centers localizados na Alemanha e na Finlândia.
O conteúdo em alemão representa 21,3% do conjunto de dados de pré-treinamento, sustentado por um pipeline de dados especializado desenvolvido especificamente para este projeto. A empresa também utilizou modelos de linguagem chineses para gerar dados sintéticos de treinamento com o objetivo de aprimorar as capacidades do modelo.
Foco Empresarial e Regulatório
O Kolibri foi desenvolvido sob medida para setores sensíveis e altamente regulamentados, visando principalmente a administração pública, a aviação e aplicações industriais.
Um dos principais atrativos destacados pela Aleph Alpha é a conformidade: o Kolibri foi desenvolvido sob os marcos legais europeus e concebido desde o início considerando os requisitos do EU AI Act. Ao oferecer uma arquitetura de pesos abertos alinhada a um rigoroso cumprimento regulatório, o lançamento oferece às organizações europeias uma alternativa a modelos proprietários hospedados fora da região.
