Latencia, throughput y costos

Mide el tiempo al primer token, la velocidad de generación y la capacidad de tu servidor, y compara el costo de servir tu propio modelo contra pagar una API por token.

Al terminar esta lección

· Medir tiempo al primer token y velocidad de generación de un servidor
· Entender la relación entre concurrencia
· latencia y throughput
· Calcular el punto de equilibrio entre servir un modelo propio y usar una API

Escuela de Inteligencia Artificial

Esta lección es parte de la Escuela de Inteligencia Artificial: todas sus rutas durante 12 meses, a tu ritmo y con certificado.

~~$349.000 COP~~$279.000 COPo ~~119 USD~~ 95 USDPrecios de terror: −20 % hasta el 31 de octubre

Comprar la escuela Ya la tengo: entrar