Transmisión de tokens LLM al navegador: la configuración de producción SSE

Una ruleta es una mentira. Le dice al usuario que algo está sucediendo sin decirle qué. Cuando specr-ai genera un informe de seguridad, el LLM produce texto token por token durante 15 a 40 segundos. Si espero la respuesta completa y luego la dejo en la página, el usuario se queda mirando la nada todo el tiempo. Si transmito cada token a medida que llega, el informe se escribe delante de ellos, exactamente como ChatGPT. Misma espera, sensación completamente diferente. Hace un tiempo cubrí SSE para las barras de progreso: el servidor envía

Lea el artículo completo: https://dev.to/pavelespitia/streaming-llm-tokens-to-the-browser-the-production-sse-setup-knh

Fuente: DEV Community