Deepseek publica en código abierto DeepInfer, el motor de alta velocidad detrás de su modelo V4.1-Flash
La firma china de IA Deepseek ha publicado en código abierto DeepInfer, su framework de inferencia interno basado en vLLM, junto con una herramienta para replicar el comportamiento de la API oficial en entornos autoalojados.
La empresa china de IA Deepseek ha publicado en código abierto su motor de inferencia interno, DeepInfer, bajo la permisiva licencia Apache 2.0. El framework funciona como el software central de servicio que impulsa el modelo V4.1-Flash de Deepseek, que actualmente es el modelo de IA más rápido y rentable del laboratorio.
La inferencia se refiere al proceso mediante el cual un modelo entrenado procesa las solicitudes entrantes y genera texto de salida. DeepInfer está diseñado para gestionar estas respuestas de forma rápida y a gran escala.
Desarrollado sobre vLLM con eficiencia mejorada
DeepInfer se basa en el framework de código abierto vLLM, e incorpora kernels de cómputo optimizados a medida, capacidades de procesamiento distribuido en múltiples chips y técnicas aceleradas de generación de texto.
Junto con DeepInfer, Deepseek lanzó una herramienta complementaria llamada deepseek-recipe. Esta herramienta replica exactamente el procesamiento de tokens utilizado por la API oficial de Deepseek, garantizando que los despliegues autoalojados se comporten de manera idéntica a los servicios alojados en la nube de la compañía.
Deepseek confirmó que el código fuente de sus futuros modelos también se publicará como código abierto.
Reducción de costos e incremento de la presión competitiva
En una declaración publicada en X, Deepseek afirmó que el objetivo principal del lanzamiento es "ayudar a la comunidad a reducir los costos de cómputo, disminuir el uso de energía y hacer que la IA sea más asequible". Aunque los modelos y el acceso a la API de Deepseek ya tenían precios significativamente más bajos que los de muchos competidores, el lanzamiento de DeepInfer resuelve el obstáculo técnico restante para los desarrolladores que buscan ejecutar configuraciones autoalojadas con un gasto mínimo.
El lanzamiento en código abierto añade una mayor presión sobre los precios para los proveedores occidentales de IA, como OpenAI y Anthropic. En el contexto más amplio de la carrera de IA entre Estados Unidos y China, los observadores del mercado señalan que este tipo de lanzamientos podría tener implicaciones geopolíticas, ya que no alcanzar las proyecciones de crecimiento podría plantear riesgos financieros para las empresas occidentales de IA y para la economía en general.
