语音 AI 智能体如何用推测式工具调用降低延迟

文章介绍 speculative tool calling：在用户仍说话时预测并提前执行安全的只读工具调用，轮次结束后由 LLM 发出真实调用，命中缓存则直接返回，未命中则丢弃猜测。文中给出预测、门控、触发、提交或丢弃的流程，示例中 800 ms 的 CRM 查询在 60% 命中率下平均节省约 480 ms；同时强调只读、幂等、授权和隐私日志规则，避免错误推测影响结果或泄露意图。