AI热榜 谷歌最近宣布 AlloyDB AI 函数正式可用，同时推出了两项从根本上改变数据库与大语言模型交互方式的加速技术。
谷歌内部测试数据显示，智能批处理相比逐行处理吞吐量提升了 2400 倍，而优化后的代理模型的吞吐量提升幅度可达 23000 倍，同时成本降低至原来的 1/6000。
这些亮眼的核心数据值得研发人员细致核验，但从业者更应关注其底层代理模型架构。
借助 AlloyDB AI 函数，开发者可以直接在标准 SQL 查询中调用 LLM。
此次 GA 版本包含 ai.generate（文本生成）、ai.if（语义过滤）、ai.rank（语义重排序）、ai.forecast（时序预测）以及三项新功能：
- ai.summarize（摘要）
- ai.agg_summarize（分组摘要）
- ai.analyze_sentiment（情感分析） 由于这些函数以标准 SQL 运算符形式运行，查询可基于语义含义筛选数据行，而非局限于生硬的关键词精确匹配。
大规模场景下逐行调用大语言模型的弊端十分明显：一张包含十万条商品数据的表，就要向 Vertex AI 发起十万次往返请求，每次请求都携带相同的系统提示词、等待模型推理，还会产生按词元计费的开销。
两层加速机制解决了这一问题。
现已支持 ai.if 与 ai.rank 函数的智能批处理功能，可将多条数据行合并为单次模型调用。
AlloyDB 无需为每行数据重复发送系统提示词，仅发送一次提示词，再对数据做批量处理。
谷歌内部测试显示，该方案最高可实现每秒处理一万行数据，较逐行处理基准性能提升 2400 倍。
这项技术本身并不复杂，在单条数据载荷远小于提示词的业务负载场景中，性能提升效果真实可靠。
代理模型是架构层面更具突破性的改进。
针对 ai.if 查询（目前处于预览版阶段），AlloyDB 采用两段式执行流程：
🔗 原始来源
如果你要核对细节，可以再看原文： InfoQ AI原文链接