Papers with Code 如何用 Hugging Face Inference Endpoints、Jobs 和 Buckets 构建论文搜索
Hugging Face 介绍了 Papers with Code 混合搜索系统的生产架构,用 PostgreSQL 全文检索、pgvector 语义向量和 RRF 融合支持论文搜索。
推荐理由:文章拆解了 Papers with Code 混合搜索的离线构建、在线查询与降级机制,对设计 RAG 检索系统有直接参考价值。
Hugging Face 介绍了 Papers with Code 混合搜索系统的生产架构,用 PostgreSQL 全文检索、pgvector 语义向量和 RRF 融合支持论文搜索。
推荐理由:文章拆解了 Papers with Code 混合搜索的离线构建、在线查询与降级机制,对设计 RAG 检索系统有直接参考价值。
Liquid AI 发布面向 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 的 DSpark 草稿模型检查点,通过推测解码提升推理速度且不改变贪心解码输出。
推荐理由:文章给出三款草稿模型的参数规模、H100 与 M4 Max 实测加速及 llama.cpp、SGLang 接入方式,便于评估端侧和服务端部署收益。
Mistral 发布 Agentic Search,通过 search、open、navigate、read、grep 五个工具让模型跨数据源查找、检查并验证信息。
推荐理由:文章给出 FinanceBench 与 OfficeQA Pro 的准确率、token 和延迟变化,可帮助比较智能体检索相对一次性 RAG 的适用场景。
Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,并可直接加载 PyLate、Stanford-NLP ColBERT 检查点,也支持 colpali-engine 视觉文档检索模型。
推荐理由:文章围绕 Sentence Transformers v6.0 的 MultiVectorEncoder,给出加载、检索、索引和多模态用法,便于直接迁移到现有 RAG 流程。
Hugging Face 构建约束感知 GPU 分配器,在相同硬件与工作负载下对比 FIFO 调度器,GPU 利用率最高提升 33 个百分点,优先级加权产出最高提升 105%。在 5 个争用场景中,利用率从 52–85% 提升至 72–88%,优先级加权价值平均提升 52%。其核心是按实时需求曲线动态分配 GPU,并按优先级在整个时间范围内排布批处理任务。
Hugging Face 发布教程,演示用 Strands Robots、LeRobot 和 Storage Buckets 在一个 AI 智能体中完成机器人示教录制、增量同步、流式训练和 checkpoint 部署。
推荐理由:文章用同一套 LeRobot 数据格式串起录制、同步、流式训练和硬件部署,适合搭建机器人数据闭环时参考。
Mistral 宣布三项主权 AI 基础设施更新:Mistral Regional Endpoints 已正式可用,客户可选择在欧洲或美国运行推理;Mistral Priority Tier 进入公开预览,为关键任务提供自定义速率限制和 uptime SLA。
NVIDIA 在 Hugging Face 发布 Magpie TTS Multilingual 开放权重模型,参数规模364M,支持12种语言,并提供 NVIDIA NIM 生产推理容器。
推荐理由:文章给出12种语言、364M参数和多GPU延迟数据,可帮助评估自建低延迟语音智能体的部署方案。
Multiverse Computing 发布论文 Efficient Knowledge Distillation for LLMs,通过离线缓存教师模型每位置 top-100 logits,并使用 fused chunked KL loss,避免同时驻留教师和学生及生成完整词表乘序列矩阵。
十字路口播客访谈 Runta 创始人兼 CEO 戴冠兰,讨论其在 Agent Infra 领域创业、完成 a16z 投资的 2000 万美元 Seed 轮,以及 Jeff Dean、李飞飞个人参投等背景。
Baseten 现已成为 Hugging Face Hub 支持的推理提供商,可在模型页及 JS、Python 客户端 SDK 中使用。初期支持对话和文本生成任务,可访问 Kimi K3、DeepSeek V4 Flash、GLM-5.2 等开放权重 LLM。用户可用自有 API key 直连,或经 Hugging Face 路由计费,PRO 用户每月获 2 美元推理额度。
Hugging Face 文章指出,企业 AI 的核心瓶颈正从模型能力转向 GPU 利用率,GPU 无论是否产生计算产出都按自然小时产生融资、折旧、电力与冷却成本。文章以航空业类比,说明拥有更多 GPU 只代表容量,真正拉开差距的是让硬件持续承担有效工作。企业自建集群后,问题也从能否获得加速器转为能否让其保持忙碌。
Berkeley AI Research 与 IBM Research 介绍扩展 K-Search 的 MLX 后端,通过结构化 CUDA-to-MLX 翻译层把既有 CUDA kernel 优化知识转化为 Apple Silicon 可用的搜索约束。
Fireworks AI 发布教程,展示在其平台上用对比微调把 Qwen3-Embedding-8B 适配到特定领域,单次成本低于 10 美元。方法使用 query-positive 对、批内负样本和双向 InfoNCE,典型设置为 150 步、batch size 64、学习率 1e-5、temperature 0.02。
推荐理由:文章给出低于 10 美元的嵌入模型对比微调流程、参数配方和多任务评测,可直接迁移到私有 RAG 与语义检索场景。
NVIDIA 发布 Cosmos-H-Dreams,这是面向手术机器人的实时、动作条件生成式模拟器,并通过 FlashDreams 流式推理库提供服务。
推荐理由:文章说明了从 Cosmos-H-Surgical-Simulator 蒸馏到实时学生模型的训练路径,以及单 GPU 上的交互式推理表现。
Fireworks 宣布开放权重模型 Kimi K3 已在平台 Day-0 提供推理和训练,支持按 token 付费、Serverless 接入、Batch 模式 50% 折扣,以及美国境内推理和 Zero Data Retention。
推荐理由:文章同时给出推理、训练入口、数据驻留与零保留策略,便于团队评估用开放权重模型承接生产任务的可行性。
Fireworks AI 发布 Fireworks Nexus,把开发者现有 AI 工具连接到托管开放权重模型层,并提供企业控制、成本观测和智能路由。
推荐理由:原文说明了 Nexus 的三层组成、兼容工具和初步成本数据,便于工程团队评估如何把现有 AI 工作流迁移到开放模型。
Fireworks 宣布 Kimi K3 已支持通过 Fireworks Serverless Training 进行 Multi-LoRA 训练和服务,目前处于私有预览。
推荐理由:原文说明了 Kimi K3 在 Fireworks 上的 LoRA 训练、按 token 计费和多适配器部署方式,可帮助评估大模型后训练的成本与流程。
Diffusers 现已通过 Nunchaku Lite 原生加载 Nunchaku 风格的 SVDQuant 4-bit 扩散模型检查点,无需自定义 pipeline、独立推理引擎或本地 CUDA 编译。
推荐理由:文章给出原生加载方式、硬件支持和基准数据,便于在消费级 GPU 上评估 4-bit 扩散推理的显存与延迟取舍。
生数科技张金涛在十字路口Crossing 播客中介绍 Vidu S1 实时交互视频模型及推理加速体系。Vidu S1 可将照片转为实时视频通话 AI 角色,实现 540P、25–42 FPS,生成速度超过播放速度,支持无限时长,并可在消费级显卡上运行。
IBM Research 总结在智能体系统中构建模型路由的经验,认为路由本质上是跨成本、质量、延迟和约束的系统优化问题。
推荐理由:文章用 AppWorld 的成本、准确率和延迟数据说明,模型路由应按系统权衡优化,而不是只按任务难度分类。
Thinking Machines 在 Hugging Face 发布开源多模态 LLM Inkling,并推出 Inkling-Small 及 NVFP4 等变体。
推荐理由:文章同时给出模型架构、量化部署配置和多框架支持,便于评估多模态推理模型的落地门槛。
Hugging Face 发布 PyTorch 性能剖析教程第 3 部分,在 NVIDIA A100-SXM4-80GB 上对比朴素 attention、in-place masking 与 SDPA 的 math、efficient、flash、cuDNN 后端。
推荐理由:文章用同一 A100 环境对比多种 attention 实现的 profiler trace,可帮助读者把 kernel 数量、显存访问和后端选择联系起来。
Mistral Studio 现已为 Prompts 和 Skills 提供集中式记录系统,支持版本化、明确归属、回滚、分类标签、审计日志和血缘追踪。业务人员可不经过每次 CI 运行直接编辑并测试,生产发布仍通过既有审批和 CI/CD;技能还可作为 MCP servers 从 Studio 调用。该功能已面向 Mistral Studio 客户开放。
Hugging Face 宣布 transformers 的 vLLM 建模后端已升级,兼容架构可通过 --model-impl transformers 达到或超过 vLLM 手写原生实现的吞吐。
推荐理由:文章给出三种 Qwen3 配置的实测吞吐和启用参数,模型作者可据此省去为 vLLM 单独移植优化代码的工作。
Hugging Face 与 Amazon SageMaker AI 推出深链集成,支持在受支持的模型页点击 Customize on SageMaker AI 或 Deploy on SageMaker AI,直接进入已预载模型的 SageMaker Studio 微调或端点部署流程。
Microsoft Build 2026 宣布 Foundry Managed Compute 支持 Hugging Face 模型,开放权重模型目录每周更新并可一键部署。
推荐理由:文章说明了 Hugging Face 开放权重模型进入 Microsoft Foundry 的策展、安全扫描和一键部署流程,便于评估企业落地路径。
UC Berkeley 研究者提出,AI 推理成本快速下降后,数据系统将面临 For、Of、By Agents 三类新挑战。GPT-4 级能力价格已从 2023 年初约每百万 token 30 美元降至 1 美元以下,部分供应商低于 0.10 美元;多 Agent 执行 text-to-SQL 任务时,80-90% 的子查询存在重复工作。
推荐理由:文章把推理成本下降转化为数据系统的三类研究议程,并给出重复查询、结构化记忆和系统合成等具体切入点。
Hugging Face 与 SkyPilot 联合推出 store: hf,SkyPilot 任务可用一个 hf:// URL 和 HF_TOKEN 挂载 Hugging Face Bucket 或 Hub 仓库,并在 20+ 云、Kubernetes、Slurm 和本地环境运行。
推荐理由:文章给出跨云挂载方式、免出站读取费用和基准速度,便于评估多云 GPU 任务的数据访问成本。
Hugging Face 发布 LeRobot v0.6.0,围绕想象、评估和改进机器人学习闭环,新增 VLA-JEPA、FastWAM、LingBot-VA 世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等 VLA。
推荐理由:版本说明覆盖模型、奖励模型、数据集、评测和部署链路,可帮助机器人学习团队判断哪些新组件能接入现有训练流程。
Hugging Face 宣布 Kernels 项目完成重大更新,在 Hub 上新增 kernel 仓库类型,用于展示 kernel 支持的加速器、操作系统和后端版本,并集中浏览 https://huggingface.co/kernels 。
Hugging Face 与 Cerebras 发布实时语音 AI 演示,将开放的级联语音到语音架构与 Cerebras 推理结合。链路使用 Nvidia Parakeet 做语音识别、Cerebras 上的 Google DeepMind Gemma 4 31B VLM 推理,以及 Alibaba Qwen3TTS 生成语音;各层开放、可替换。
NVIDIA 研究人员推出 ENPIRE 软件框架,让实体机器人通过编码智能体完成自主实验、评估、重置与策略改进闭环。该系统在 PushT 等灵巧操作任务上达到 99% 成功率,GPT-5.5 与 Opus 4.7 表现领先,Kimi-2.6 相对落后。同期文章还援引论文指出,人类对核裂变、互联网等技术影响的预测屡次失误,因此对 AI 不应盲目乐观或轻视。
Google 宣布为已部署的冻结 Gemini Nano v3 模型加装轻量 MTP 头,并已在 Pixel 9 和 Pixel 10 系列推出,用于加速 AI Notification Summaries 和 Proofread。
推荐理由:文章解释了冻结 Gemini Nano v3 主干并加装 MTP 头的移动端加速方案,可帮助理解端侧 LLM 在内存和能耗约束下的工程取舍。
Claude API 提高了全平台速率限制,Claude Sonnet 和 Claude Haiku 在每个用量层级的限额现在与 Claude Opus 一致。用量层级整合为 Start、Build、Scale 三档,多数组织会进入更高层级,且没有组织的限额低于此前水平。用户无需操作,可在 Claude Console 查看所属层级和当前限额。
Google Research 提出线性弹性缓存,将页面淘汰建模为滑雪租赁问题,并利用轻量机器学习动态调整缓存大小。该方法已在 Spanner 生产环境测试,内存使用降低 15.5%,缓存未命中仅增加 5.5%,总拥有成本降低约 5%。相关论文发表于 CIDR。
Mistral 在 AI Now Summit 2026 发布面向工业工程的集成 AI 栈,并与 Airbus、BMW Group、ASML 合作覆盖设计、仿真和生产场景。
推荐理由:原文集中呈现 Mistral 在工业工程、长程智能体和自有推理基础设施上的产品布局,可对照其企业级全栈策略。
Mistral AI 发布 Search Toolkit 公开预览版,这是一个用于构建 AI 应用生产级搜索流水线的开源可组合框架,可运行在云端、本地和边缘环境。
推荐理由:原文把数据摄取、检索和评估放进同一开源框架,并给出本地启动模板,适合评估企业 RAG 检索流水线的改造成本。
Google Research 发布零信任聚合隐私分析方案,通过单消息格基加密聚合协议与 TEE 证明结合,使服务器只能获得加噪后的匿名群体统计。设备无需多轮保持在线,原始数据不会在服务器内存或 TEE 中以明文重建;TEE 还可证明运行的是公开代码。该方案正与 Android SafetyCore 团队合作,用于评估安全分类器的元数据和真阳性率,同时让用户内容保留在设备本地。
Claude Platform 在 5 月 19 日推出 MCP tunnels 研究预览,可连接私有网络中的 MCP 服务器;Claude Managed Agents 同时开放自托管沙箱,作为在 Anthropic 基础设施中运行工具执行的替代方案。