Fine-tuning con LoRA y QLoRA, explicado

Actualizado 2026-10-12 · 2 min de lectura

El fine-tuning (ajuste fino) consiste en seguir entrenando un modelo ya entrenado con ejemplos propios, para que aprenda un estilo, un formato o una tarea muy específica. Ajustar todos los parámetros de un modelo grande es costoso; LoRA y QLoRA son técnicas que reducen drásticamente ese costo.

LoRA

LoRA (Low-Rank Adaptation), propuesta por Hu y colaboradores en 2021, deja congelados los pesos originales del modelo y entrena solo unas matrices pequeñas que se suman a ciertas capas. En lugar de modificar miles de millones de parámetros, se entrena una fracción mínima. El resultado es un adaptador liviano que se puede guardar, compartir y combinar con el modelo base.

QLoRA

QLoRA, propuesta por Dettmers y colaboradores en 2023, va un paso más allá: carga el modelo base cuantizado a 4 bits (una representación comprimida de sus pesos) y entrena adaptadores LoRA encima. Esto reduce tanto la memoria necesaria que es posible ajustar modelos grandes en una sola GPU. En su artículo, los autores ajustaron un modelo de 65 mil millones de parámetros en una GPU de 48 GB.

Cuándo hacer fine-tuning

• Cuando necesitas un formato o estilo muy consistente que no logras con instrucciones.
• Cuando tienes una tarea específica y repetitiva (clasificar, extraer datos) y quieres un modelo pequeño y barato que la haga bien.
• No es la mejor opción para que el modelo "sepa" información que cambia: para eso está RAG.

Lo que necesitas

1. Datos de calidad: cientos o miles de ejemplos de entrada y salida esperada. La calidad pesa más que la cantidad.
2. Un modelo base adecuado al tamaño de tu hardware.
3. Una evaluación: un conjunto de pruebas separado para comprobar que el modelo ajustado es mejor que el original.

Un modelo ajustado puede exportarse y servirse localmente, por ejemplo con Ollama.