Tras el ciclón acontecido hace pocas semanas tras la aparición del vendaval llamado DeepSeek-R1, he conseguido sacar tiempo para poder clonar el repositorio en native y poder analizarlo en profundidad, me gustaría compartir un poco las impresiones que me ha generado.
El pasado 25 de enero la cotización en bolsa de la empresa norteamericana NVIDIA, como sabéis es la productora de los potentes del {hardware} necesarios para la computación de la IA, sufría uno de los mas históricos batacazos acontecidos en la historia de la bolsa norteamericana, sus acciones se devaluaban mas de un 17%, provocando unas perdidas por mas de 556.000 millones de dólares en capitalización bursátil. El motivo no period otro que la aparición desde China de este novedoso y eficiente modelo de Inteligencia Synthetic.
Durante los últimos años, modelos de Giant Lenguaje Fashions (LLMs) han sido desarrollados por importante empresas con poderosos presupuestos y financiaciones sin limites, todos estos modelos como los desarrollados por OpenAI, Google o Anthropic necesitan de grandes esfuerzos económicos en conseguir entrenar modelos con millones de parámetros y un consumo exagerado de energía, durante estos años estos modelos poderosos, precisos y con un nivel de razonamiento ya al nivel de un humano con diversos doctorados, se habían desarrollado con código cerrado, sin demasiada transparencia de lo que realmente esta sucediendo en cada consulta.
Sin embargo la aparición de este modelo de DeepSeek lleva la eficiencia y escalabilidad de los Transformers a otro nivel, en este punto a conseguido diferenciarse de forma notable de modelos como el comentado ChatGPT de OpenAI. mientras que ChatGPT ha demostrado una capacidad asombrosa en tareas conversacionales gracias a una arquitectura densa y robusta, DeepSeek apuesta por la especialización y optimización en cada etapa del procesamiento.
Este hito ha sido conseguido gracias uno de los avances más destacados es el uso de Combination-of-Specialists (MoE). En lugar de que cada token pase por toda la pink, solo se activan algunos expertos especializados para cada entrada. Esto no solo scale back la carga computacional, sino que permite escalar el modelo de forma más eficiente. Además, el uso de técnicas de cuantización FP8 y kernels optimizados mediante Triton ofrece mejoras significativas en el rendimiento y el consumo de memoria, aprovechando al máximo el {hardware} moderno. Estas innovaciones hacen que DeepSeek sea una propuesta muy interesante en comparación con arquitecturas más convencionales como la de ChatGPT, donde la densidad y robustez se priorizan, pero a costa de mayores requerimientos computacionales.
Las técnicas que han conseguido integrar permiten optimizar el rendimiento como la eficiencia, la podemos resumir en las siguientes:
- Combination-of-Specialists (MoE): Esta técnica nos permitirá que en cada iteración de las capas del modelo LLM solo se activen los parámetros requeridos considerados como expertos especializados según el immediate requerido, esto provocara una reducción drásticas de la computación necesaria, facilitando la eficiencia y escalado del modelo.
- Cuantificación FP8: Para reducir el uso de memoria han utilizado este método efectivo, se trata de reducir la precisión de los cálculos a 8 bit, esto permite acelerar operaciones criticas como la multiplicación de matrices. en caso de necesitar una mayor precisión de los cálculos se combinan técnicas que ayudan a la cuantificación de los pesos.
- Kernels Optimizados con Triton: Usar Triton permite realizar operaciones de cuantificación y multiplicación de matrices en FP8, esto lo que consigue es realizar diversas operaciones e forma simultánea y ejecutándoselo de manera altamente optimizada.
Cuidado, si os instaláis el repositorio en un ordenador MAC con chip de Silicon vais a tener que hacerlo en Linux u otro entorno ya que Triton se ejecuta en CUDA y como ya sabemos este método es especifico de las tarjetas gráficas de NVIDIA.
- Rotary Positional Embeddings (RoPE): En lugar de usar embeddings posicionales convencionales, RoPE aplica una transformacionales en el dominio complejo, esto permite capturar dependencias posicionales, esto funciona realmente bien en secuencias largas, ayudando a generalizarlo!
- Paralelismo Distribuido: Han diseñado el modelo para entornos distribuidos, dividiendo tanto el vocabulario (en la capa de embeddings) como las operaciones lineales (con variantes que implementan paralelismo por columnas y filas). Esto facilita la escalabilidad del modelo y optimiza el uso de recursos en sistemas con múltiples GPUs.
El repositorio se organiza en varios archivos que, en conjunto, implementan estas técnicas de manera modular y eficiente:
Clases en mannequin.py:
- ParallelEmbedding: Esta clase divide el vocabulario entre distintos procesos distribuidos, con esto se consigue reducir la carga y uso de recursos.
- Linear, ColumnParallelLinear y RowParallelLinear: Estas clases encapsulan la lógica de las transformaciones lineales, adaptándolas para trabajar con cuantización FP8 o bf16. Se encargan de aplicar la cuantización antes de realizar la multiplicación de matrices, optimizando así el rendimiento.
- MLA (Multi-Headed Consideration Layer): Implementa la atención multi-cabezal de forma optimizada. Incorpora técnicas como LoRA para reducir el número de parámetros en las proyecciones y separa la parte de atención en componentes posicionales y no posicionales.
- Gate y MoE: La clase Gate se encarga de dirigir las entradas a los expertos adecuados, usa funciones de activación como softmax o sigmoid para determinar las rutas. La clase MoE combina esta puerta con una lista de expertos, donde cada experto es un pequeño MLP especializado. Esta estructura modular permite que solo se energetic una fracción de la pink para cada entrada, lo que es un avance notable en comparación con modelos densos.
- Block y Transformer: Cada bloque del Transformer combina la atención (MLA) y la pink feed-forward (que puede ser un MLP clásico o un MoE, dependiendo de la capa). El modelo completo se construye apilando estos bloques y agregando capas de normalización y proyección ultimate para generar los logits que se usarán en la generación de texto.
Funciones en kernel.py:
- act_quant y weight_dequant: Estas funciones realizan la cuantización de activaciones y la de-cuantización de pesos, respectivamente. Utilizan kernels escritos con Triton, que permiten ejecutar estas operaciones de manera rápida y eficiente en GPU.
- fp8_gemm: Esta función se encarga de la multiplicación de matrices en FP8, utilizando un kernel autotuneado con Triton. Se ajusta automáticamente a diferentes configuraciones de bloques, garantizando un rendimiento óptimo según las dimensiones de entrada.
Según lo visto y explorado, se podría concluir en que DeepSeek R1 se basa en una arquitectura basada en Combination-of-Specialists (MoE) que activa de forma selectiva solo el conjunto de parámetros especializados para cada entrada, el dato oficial es solo trabaja con el 5,5% de sus parámetros según lo que necesite (37B de 671B), lo que consigue reducir drásticamente l carga computacional, además de apoyarse en técnicas como la cuantificación FP8 que aporta disminución de calculo en las operaciones criticas como la multiplicación de matrices, apoyándose en kernels optimizados mediante Triton, e integra Rotary Positional Embeddings (RoPE) para gestionar eficientemente secuencias largas, todo ello complementado por un enfoque de paralelismo distribuido que divide tanto el vocabulario como las operaciones lineales entre múltiples GPUs, organizando estas técnicas en clases especializadas (ParallelEmbedding, variantes de Linear, MLA, Gate, MoE y Transformer) y funciones en kernel.py que facilitan la implementación y el mantenimiento del modelo.
