Retour d’expérience : garde le front de ton agent LLM et sa WebSocket synchronisés

Avec les websockets, afficher de la donnée en temps réel est très facile: c’est un canal de communication ouvert entre un émetteur et un consommateur, bi-directionnel, qui peut émettre en permanence.

Comme tous les protocoles, il est important que l’émetteur et le consommateur soient d’accord sur un contrat d’interface. Et on ne trouve quasiment aucune documentation, outils ou solution pour nous aider à décrire ces interfaces!

Pourtant les mêmes problématiques se posent qu’avec HTTP: les mêmes désynchronisations, les mêmes bugs.

Les agents LLM, en particulier, adorent le temps réel et sont de grands utilisateurs des Websockets.

Ce talk sera un retour d’expérience sur ma croisade pour décrire mon interface frontend/modèle pour un agent LLM de synthèse de documents.

Je parlerai de mes essais avec un outil qui se veut l’équivalent de OpenApi pour les protocoles event-driven, et une solution custom.

Ouvrons ce débat, car le sujet ne fait que prendre de l’ampleur !