Cloudglue 的新 API 将非结构化视频和音频转化为下一代智能体店面所需的结构化数据。但您的架构是否已准备好迎接感官数据的洪流？
上周末，我在 DTLA 的 Howlin' Ray's 餐厅排了两个小时的队，队伍光荣而荒谬。这是一种独特的洛杉矶式集体受苦，最终为了获得超凡的奖励。在你看到窗口之前很久，你就能闻到辣椒和炸鸡的味道。你听到滋滋声，团队叫着订单。你看着人们吃到 Sando（三明治）第一口时的表情，那种惊天动地的感觉。整个体验就像一场感官数据的消防水带，最终汇聚成一个简单的交易：一份鸡肉三明治，中辣。我的商业 AI 大脑无法停止思考。我意识到，一个标准的购物智能体只能理解交易的最后一部分——订单。它可以处理文本：“辣鸡肉三明治”。它可以在数据库中找到它。它甚至可以下订单。但它将完全看不到也听不到“为什么”。它无法理解气味、声音、排队的视觉线索、前面人们欢乐的反应——所有这些非结构化、多模态的数据点都表明“这个产品值得等待”。如今，大多数品牌 AI 都只在文本真空中运行。它阅读产品描述并处理搜索查询。它就像一个在寂静、无色的房间里工作的智能图书管理员。这是构建真正有用的智能体店面（agentic storefront）的致命缺陷。您的客户生活在 TikTok 开箱、YouTube 评论和 Instagram 故事的世界中——一个充满动态和声音的世界。而您的 AI，在很大程度上，却没有。然而，上周一个名为 Cloudglue 的初创公司在“Show HN”上发布的消息表明，这即将改变 [2]。他们为一种 API 推出了公开测试版，该 API 可以将原始视频和音频转化为检索增强生成（RAG）管道所需的结构化 JSON。这是首次可信地尝试为我们的商业 AI 提供眼睛和耳朵。它将迫使我们对商业 AI 架构进行根本性反思。## 为什么您的 AI 停留在一个无声电影中？Cloudglue 的首席执行官 Alex Rivera 在发布帖子中引用了一个统计数据，每一个商业 CTO 都应该打印出来：“70% 的 DTC (Direct-to-Consumer) 产品数据是视频/音频，但智能体会对此感到‘窒息’。” [2] 他说得没错。关于您产品最引人注目、最具说服力和影响力的内容，几乎肯定被锁定在您的昂贵新 AI 智能体无法理解的格式中。想想看。对于高端运动服饰品牌，最有力的产品数据是产品详情页上的要点列表吗？还是网红穿着他们的最新款紧身裤，在 30 秒的视频中无缝地进行瑜伽，谈论合身度和触感？对于旅行箱包品牌，是在线列出的静态尺寸，还是展示某人如何在周末旅行时将多少套衣服打包到一个随身行李箱中的用户生成 TikTok 评论？这就是“感官数据”的鸿沟。当前的智能体系统，即使是使用 RAG 的复杂系统，通常也是建立在基于文本的向量数据库上的。您会向它们提供产品目录、帮助文档，可能还有博客文章。然后，AI 可以从这个基于文本的语料库中检索并合成答案。它可以告诉客户您的衬衫是“100% 有机棉”，但它无法理解或传达评论者在开箱视频中将那种棉的触感描述为“软得不可思议”的情感。非结构化内容才是真正的转化力量所在。它是社会认同、产品演示和推荐的结合体。但对于机器来说，视频文件只是一团不透明的像素，音频文件只是一段波形。RAG 管道会因此“窒息”，因为它们没有机制来提取发生在该媒体中的实体、属性、情感和动作。试图从头开始做这件事是一项巨大的工程，涉及复杂的计算机视觉和音频处理模型。大多数品牌，正确地，都没有这样做。