AWS 教程:用 Ray LLM DLC 在 Amazon EKS 上运行多节点 LLM 推理
AWS 介绍如何用多节点 Ray LLM Deep Learning Containers 在 Amazon EKS 的两个 g6.8xlarge GPU 节点上部署 Qwen3.5-9B,并通过一个 OpenAI 兼容端点分别运行 prefill 与 decode。
AWS 介绍如何用多节点 Ray LLM Deep Learning Containers 在 Amazon EKS 的两个 g6.8xlarge GPU 节点上部署 Qwen3.5-9B,并通过一个 OpenAI 兼容端点分别运行 prefill 与 decode。
Postman 与 AWS 介绍了 Agent Mode 基于 Amazon Bedrock 服务 4000 万开发者的生产架构,覆盖 API 测试、文档、发现和实现等场景。
推荐理由:文章结合 Postman 面向 4000 万开发者的生产实践,拆解工具收敛、上下文工程和推理缓存等可迁移架构模式。
Databricks 提出生物医学影像 AI 的核心瓶颈不是模型,而是 DICOM 与病理切片等数据被锁在 PACS/VNA 中,难以查询、去标识、共享和跨机构复用。
Amazon Quick 与 Amazon Bedrock Knowledge Bases 在原有检索前 ACL 过滤之外增加实时 ACL 校验,查询时直接向 SharePoint、Google Drive、Confluence 等权威源确认权限。
Cornerstone OnDemand 基于 Amazon Bedrock 和 Strands Agents 构建多智能体系统 Orion AI,将数据库诊断从 45 分钟降至 10 分钟,缩短 78%。
Qlik 基于 Amazon Bedrock 打造企业问答产品 Qlik Answers,为全球超 40,000 家客户提供带来源、可验证的自然语言问答。
Google DeepMind 发布 EmbeddingGemma 2,这是基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数多模态嵌入模型,可将代码、文本、图像、视频和音频映射到统一嵌入空间。
推荐理由:原文给出参数量、模块化编码器、8K token 上下文和端侧内存数据,可帮助判断本地多模态检索方案的资源门槛。
Databricks 以 2026 年基准测试、客户案例和架构分析论证 Lakehouse 已在 SQL 性能上追平传统数据仓库,并可同时服务 BI、ML、流处理与 AI 智能体。其生产 SQL 工作负载较 2022 年基线快 77%,Lakehouse//RT 可低至 10 ms、达 12,000 QPS;Lumen 迁移 133 TB 后查询性能提升 90%、计算成本降低 30-40%。
Databricks 商业智能与分析产品营销负责人 Richard Tomlinson 指出,自然语言可视化查询长期不及 SQL,瓶颈在于缺少业务上下文而非 LLM。Databricks 的 Genie One 依托受治理数据、显式语义和可溯源机制,Genie Ontology 则通过 Ontology Snippet 的权威评分与排序,为 AI 智能体提供统一上下文,使生成的图表可信任。
Databricks Runtime 推出 NEAREST BY 连接语法,将批量向量搜索表达为原生 top-k ranking join,并在 Photon 中通过 SIMD 距离函数、融合 GEMM 算子和可选 IVF 索引执行。
推荐理由:文章把批量向量搜索拆解为 top-k ranking join,并说明 Photon、GEMM 与 IVF 索引如何共同提升大规模批处理吞吐。
AWS 教程展示如何在 Amazon Bedrock Managed Knowledge Base 上用 LangChain 对比标准 Retrieve API 与 AgenticRetrieveStream API。
Databricks 介绍 Genie Ontology 如何让 Genie 获取持续更新的企业业务上下文,并以产品团队每周复盘 Genie One 用户采用情况为例展示实际用法。
AWS 团队演示用 Amazon SageMaker AI MTRL 微调 Qwen3.6-27B 搜索智能体,让模型在 BM25 与向量搜索工具之间完成多轮检索。
AWS 介绍 Adjudicated Query 模式,让业务用户在 Amazon Quick 聊天界面提出合规问题,由模型调用固定 MCP 工具,实际通过确定性规则引擎判定。
推荐理由:文章把自然语言入口、确定性规则引擎和完整性凭证拆开,适合需要审计留痕的高风险合规场景借鉴。
Ai2 开源 AstaBrief 8B 及训练数据,该模型基于 Qwen3-8B,可根据研究问题和检索文献片段一次性生成带引用报告,并已在 Asta 的 Generate a report 中作为 Fast mode 上线。
推荐理由:文章披露了从真实科研查询构建 SFT 与 DPO 数据、用引用密度过滤提升报告可靠性的完整训练路径。
Databricks 公布一套基于 Lakebase 与 AI Search 的电商实时推荐参考架构,已在亚洲月活超 100 万、SKU 超 10 万的时尚电商落地。系统每秒摄取约 1,000 个事件,由 Unity Catalog 统一治理,并通过批量预计算与会话实时推理两条路径提供毫秒级推荐。
AWS 教程展示如何把 Amazon S3 Vectors 实现为 NVIDIA NeMo Agent Toolkit 的自定义持久记忆后端,并部署到 Amazon EKS。
Databricks 联合 OpenAI 与 Stellantis 探讨企业在生产环境规模化扩展智能体应用所需的基础设施,核心是选择、上下文与控制三项能力。
一篇技术教程展示如何用 Amazon Bedrock Knowledge Bases 构建理赔助手,通过自然语言查询 Amazon S3 中的理赔文档并返回带引用的答案。
Condé Nast 与 AWS GenAIIC 基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频发现方案,采用 TwelveLabs Marengo embedding 模型联合编码画面、音频与字幕,将单次内容发现耗时从 250 分钟降至 2 分钟以内。
AWS 推出基于 Amazon Quick 与 Amazon Bedrock AgentCore 的合同智能平台,用 AI 智能体将合同 PDF 转为可查询的结构化数据,解决 RAG 无法跨数百份合同聚合统计的问题。
AWS 介绍 Amazon Quick 的提示词工程基础,强调通过具体性、业务上下文、少样本示例和结构化输出提升 AI 功能的首次结果质量。
Multiverse Computing 介绍论文 ProvenanceGuard,用后置验证层检查 MCP 智能体答案中每条声明是否由其声称或暗示的来源支持。
Genie One 是面向业务用户的数据智能 AI 同事,支持自然语言提问、引用受治理数据来源并触发后续多步骤工作。企业推行包含 Genie One、Genie Agents、Genie Ontology 与 Unity Catalog 四个组件,并应先从单一团队和明确问题集启动试点。试点前需定义语义层、指定负责人、配置权限与审计,并用 25 到 50 个真实问题评估答案质量。
Datacor 在 TrackAbout 中集成 Amazon Quick Sight,为工业气体与焊接分销商提供交互式仪表盘和自然语言查询,用户无需等待 IT 自定义报表即可分析租赁收入、资产利用率和回收率。
AWS 教程展示用 Amazon Bedrock AgentCore Gateway 与 MCP 构建多账户 AI 智能体,让数据保留在各业务团队账户内,仅在查询时按需流出。
荷兰百年零售商 HEMA 基于 Amazon Bedrock AgentCore 和 MCP 构建内部 AI 助手 HAL,将分散在 wiki、服务目录与 IT 门户的知识统一接入员工常用工具。HAL 支持 HAL web chat、Kiro、Claude 等 MCP 客户端,通过 Microsoft Entra ID 认证,当前为只读访问,原本需跨三四个门户查找的答案现在数秒内即可获得。
GitHub Podcast 围绕 5 个 AI 开发热门观点展开分析,认为开发者仍需审查并承担 AI 生成代码的结果,招聘更看重使用判断力而非完全依赖或拒绝 AI。文章指出 MCP 负责标准化连接工具和数据,Skills 负责封装团队流程与最佳实践,RAG 仍可为模型提供训练数据外的相关信息;需要微调并不必然说明代码糟糕,但难理解的代码也暴露可维护性问题。
Fireworks AI 提出企业获得专业化智能通常会经历租用闭源前沿模型、围绕模型做提示词和 RAG 等工程、引入开源模型控制成本与延迟、最终训练自定义模型四个阶段。
推荐理由:文章把企业从租用闭源模型到训练自有模型的路径拆成四个阶段,并用 UIPad 成本与分类结果说明路由和微调的决策依据。
H Company 与 Hugging Face 发布 260M 和 800M 两种规格的 NeoMME 多模态多语言编码器,并用其微调得到视觉文档检索模型 NeoMME-Retriever。
推荐理由:文章给出单塔架构、ViDoRe v3 成绩、编码吞吐和索引压缩数据,便于评估其在视觉文档检索与视觉 RAG 中的工程取舍。
Hugging Face 发布开源工具 funes,为 Claude Code、Codex、pi 和 Hermes 提供基于本地会话记录的持久记忆层。funes 是单个二进制文件,默认在本机完成嵌入与重排序,通过 `funes add claude` 等命令为智能体添加 recall 和 get 工具,并增量索引已完成的对话轮次。
推荐理由:文章说明了 funes 如何把本地编码会话转成可检索、可溯源的共享记忆,并给出安装命令与跨智能体使用方式。
Sentence Transformers v6.0 引入 MultiVectorEncoder,支持 ColBERT 风格的晚交互检索模型训练与微调。
Hugging Face 介绍了 Papers with Code 混合搜索系统的生产架构,用 PostgreSQL 全文检索、pgvector 语义向量和 RRF 融合支持论文搜索。
推荐理由:文章拆解了 Papers with Code 混合搜索的离线构建、在线查询与降级机制,对设计 RAG 检索系统有直接参考价值。
Mistral 发布 Agentic Search,通过 search、open、navigate、read、grep 五个工具让模型跨数据源查找、检查并验证信息。
推荐理由:文章给出 FinanceBench 与 OfficeQA Pro 的准确率、token 和延迟变化,可帮助比较智能体检索相对一次性 RAG 的适用场景。
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,并可直接加载 PyLate、Stanford-NLP ColBERT 检查点,也支持 colpali-engine 视觉文档检索模型。
推荐理由:文章围绕 Sentence Transformers v6.0 的 MultiVectorEncoder,给出加载、检索、索引和多模态用法,便于直接迁移到现有 RAG 流程。
Fireworks 宣布原生上线 Voyage AI by MongoDB 全系列模型,包括 Voyage 4 family、voyage-multimodal-3.5 和 rerank-2.5,使 embed、retrieve、rerank、generate 流程运行在同一平台、同一 API 和同一延迟域。
Fireworks AI 发布教程,展示在其平台上用对比微调把 Qwen3-Embedding-8B 适配到特定领域,单次成本低于 10 美元。方法使用 query-positive 对、批内负样本和双向 InfoNCE,典型设置为 150 步、batch size 64、学习率 1e-5、temperature 0.02。
推荐理由:文章给出低于 10 美元的嵌入模型对比微调流程、参数配方和多任务评测,可直接迁移到私有 RAG 与语义检索场景。
Mistral 发布 Mistral OCR 4,新增边界框、块类型分类和行内置信度分数,支持 10 个语言组中的 170 种语言,并可在单个容器内完全自托管。
推荐理由:官方完整说明了结构化文档解析能力、170 种语言支持、基准表现、API 与自托管价格,便于评估企业文档入库方案。
Google 为 Gemini Enterprise Agent Platform 推出托管版 Cross-Corpus Retrieval,由 Agentic RAG 驱动,并已进入 public preview。
推荐理由:文章拆解了多智能体检索的规划、改写、路由和上下文充分性检查环节,可用于理解企业级 Agentic RAG 的工程实现思路。
Mistral AI 发布 Search Toolkit 公开预览版,这是一个用于构建 AI 应用生产级搜索流水线的开源可组合框架,可运行在云端、本地和边缘环境。
推荐理由:原文把数据摄取、检索和评估放进同一开源框架,并给出本地启动模板,适合评估企业 RAG 检索流水线的改造成本。