Lecciones del curso (4)
Lección 3 de 4 · 9 min de lectura
Rendimiento en CPU y GPU
Mide un modelo con llama-bench, entiende por qué procesar el prompt escala con los núcleos y generar no, compara CPU contra GPU y sirve el modelo con llama-server.
Al terminar esta lección
- · Medir procesamiento de prompt y generación con llama-bench
- · Explicar por qué la generación depende del ancho de banda de memoria
- · Servir un modelo GGUF con llama-server y su API compatible con OpenAI
Escuela de Inteligencia Artificial$349.000 COP$279.000 COPo 119 USD 95 USDPrecios de terror: −20 % hasta el 31 de octubre
Esta lección es parte de la Escuela de Inteligencia Artificial: todas sus rutas durante 12 meses, a tu ritmo y con certificado.