Le nouvel article Stratum d'arXiv démontre une accélération de 16,6x non pas en rendant les agents IA plus intelligents, mais en construisant une architecture d'IA commerciale capable de gérer leur charge de travail. La plupart des marques sont structurellement non préparées.
J'étais chez Intelligentsia Coffee sur Abbot Kinney, sirotant un 'pour-over' d'origine unique ridiculement cher et observant le spectacle. Le barista, un modèle d'exécution ciblée, pesait les grains au dixième de gramme. Il surveillait la température de l'eau sur un contrôleur PID numérique. Il faisait fleurir le café moulu avec une coulée précise et spiralée d'une bouilloire à col de cygne. C'était un pipeline de données parfait, fait à la main, transformant des intrants bruts (grains, eau) en un produit raffiné (un café qui a le goût de bergamote et de regret). L'ensemble du processus a pris quatre minutes.
C'est un beau système pour une seule tasse. Mais que se passerait-il si vous deviez tester 10 000 techniques de 'pour-over' différentes dans l'heure suivante ? Des températures légèrement différentes, des tailles de mouture, des motifs de coulée, des temps d'infusion — une recherche exhaustive pour une tasse globalement optimale. Le barista, malgré toutes ses compétences, ne peut pas évoluer. Son flux de travail est fondamentalement à un seul thread. Il ne peut pas compiler ses mouvements par lots ou les exécuter sur un backend Rust parallélisé.
C'est exactement le problème auquel est confrontée chaque marque de commerce avec laquelle je parle. Vous avez engagé des scientifiques des données. Vous leur avez donné accès à de puissants LLM qui peuvent agir comme des agents autonomes. Ces agents sont brillants ; ils sont comme mille maîtres baristas, générant constamment de nouvelles idées pour prédire la perte de clients, optimiser les stocks et personnaliser les expériences utilisateur. Mais votre infrastructure est le barista unique, exécutant méticuleusement une tâche à la fois. Votre IA est un cerveau dans un bocal, capable d'une idéation incroyable mais sans mains pour réellement faire le travail à l'échelle.
Un nouvel article posté sur arXiv cette semaine,