La nouvelle API de Cloudglue transforme la vidéo et l'audio non structurés en données structurées nécessaires aux vitrines agentiques (agentic storefronts) de nouvelle génération. Mais votre architecture est-elle prête pour le déluge de données sensorielles ?
J'étais dans la file d'attente glorieuse et ridicule de deux heures pour Howlin' Ray's à DTLA le week-end dernier. C'est une forme unique de souffrance communautaire à la sauce Los Angeles pour une récompense transcendante. On sent le poivre de Cayenne et le poulet frit bien avant de voir la fenêtre. On entend le grésillement, l'équipe qui crie les commandes. On observe les visages des gens alors qu'ils prennent cette première bouchée bouleversante d'un Sando. Toute l'expérience est un déluge de données sensorielles qui culmine en une simple transaction : un sandwich au poulet, chaleur moyenne-plus.
Mon cerveau d'IA commerciale ne pouvait pas s'éteindre. J'ai réalisé qu'un agent d'achat standard ne comprendrait que la dernière partie de cette transaction : la commande. Il pourrait traiter le texte : « sandwich au poulet chaud ». Il pourrait le trouver dans une base de données. Il pourrait même passer la commande. Mais il serait complètement aveugle et sourd au pourquoi. Il ne comprendrait pas l'odeur, les sons, les signaux visuels de la file, les réactions joyeuses des personnes devant moi – tous les points de données non structurés et multimodaux qui signalent « ce produit vaut la peine d'attendre ».
La plupart des IA de marque actuelles fonctionnent dans ce vide textuel. Elles lisent les descriptions de produits et traitent les requêtes de recherche. C'est un bibliothécaire intelligent dans une pièce silencieuse et incolore. C'est un défaut fatal dans la course à la construction de vitrines agentiques (agentic storefronts) vraiment utiles. Vos clients vivent dans un monde de déballages TikTok, de critiques YouTube et d'histoires Instagram – un monde de mouvement et de son. Votre IA, pour la plupart, ne le fait pas.
Cependant, un billet « Show HN » la semaine dernière pour une startup appelée Cloudglue, signale que cela est sur le point de changer [2]. Ils ont lancé une version bêta publique pour une API qui transforme la vidéo et l'audio bruts en JSON structuré dont les pipelines RAG (Retrieval-Augmented Generation) ont besoin pour fonctionner. C'est l'une des premières tentatives crédibles de donner des yeux et des oreilles à nos IA commerciales. Et cela va forcer une refonte fondamentale de l'architecture de l'IA commerciale.
Pourquoi votre IA est-elle bloquée dans un film muet ?
Alex Rivera, le PDG de Cloudglue, a donné une statistique dans le fil de discussion de lancement que chaque CTO du commerce devrait imprimer : « 70 % des données produits DTC sont vidéo/audio, mais les agents s'en étouffent » [2]. Il n'a pas tort. Le contenu le plus convaincant, persuasif et influent concernant vos produits est presque certainement enfermé dans un format que votre nouvel agent IA coûteux ne peut pas comprendre.
Réfléchissez-y. Pour une marque de vêtements de sport haut de gamme, les données produit les plus puissantes sont-elles la liste à puces des caractéristiques sur une page de détail de produit ? Ou est-ce la vidéo de 30 secondes d'une influenceuse réalisant un vinyasa fluide dans ses derniers leggings, parlant de la coupe et de la sensation ? Pour une marque de bagagerie, est-ce les dimensions statiques répertoriées en ligne, ou la critique TikTok générée par l'utilisateur montrant exactement combien de tenues quelqu'un peut emporter dans un bagage à main pour un week-end ?
C'est l'écart des « données sensorielles ». Les systèmes agentiques (agentic systems) actuels, même sophistiqués, utilisant le RAG, sont généralement construits sur des bases de données vectorielles textuelles. Vous leur fournissez des catalogues de produits, des documents d'aide et peut-être des articles de blog. L'IA peut ensuite récupérer et synthétiser des réponses à partir de ce corpus textuel. Elle peut dire à un client que votre chemise est « 100 % coton biologique », mais elle ne peut pas comprendre ou transmettre le sentiment d'un critique qui a décrit la sensation de ce coton comme « incroyablement doux » dans une vidéo de déballage.
C'est dans ce contenu non structuré que réside le véritable pouvoir de conversion. C'est une preuve sociale, une démonstration de produit et un témoignage, le tout réuni. Mais pour une machine, un fichier vidéo n'est qu'un blob opaque de pixels et un fichier audio une simple forme d'onde. Les pipelines RAG « s'en étouffent » car ils n'ont aucun mécanisme pour extraire les entités, les attributs, les sentiments et les actions se produisant dans ce média. Tenter de le faire à partir de zéro est une entreprise d'ingénierie massive impliquant des modèles complexes de vision par ordinateur et de traitement audio. La plupart des marques, à juste titre, ne l'ont pas fait.