Anthropic 研究称小型 AI 模型或在无需数据中心的情况下实现自我复制
Anthropic 的 William Zhou 和 Daniel Freeman 发布研究,测试小型 AI 模型在商业 IoT 设备上自主部署、传播并运行推理的可行性。
推荐理由:研究用真实 Android TV 盒子和受控 GCP 节点拆解 AI 蠕虫复制链路,为评估端侧模型的网络安全风险提供了可核对的实验框架。
跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。
Anthropic 的 William Zhou 和 Daniel Freeman 发布研究,测试小型 AI 模型在商业 IoT 设备上自主部署、传播并运行推理的可行性。
推荐理由:研究用真实 Android TV 盒子和受控 GCP 节点拆解 AI 蠕虫复制链路,为评估端侧模型的网络安全风险提供了可核对的实验框架。
Google AI Edge 团队以 Apache 2.0 许可证开源 ML Drift,这是面向端侧 AI/ML 推理的跨平台 GPU 计算引擎,并作为 LiteRT 的核心 GPU 加速引擎。
推荐理由:文章梳理了 ML Drift 的跨平台 GPU 抽象、LiteRT 集成和迁移路径,便于端侧推理开发者评估旧 TFLite GPU delegate 的替代方案。
Microsoft 发布编码模型 MAI-Code-1.1-Flash,并已在 GitHub Copilot 生产环境中使用。
推荐理由:材料给出端侧量化、256K 上下文、成本与多项编码基准变化,可帮助读者理解本地编码模型的取舍。
NVIDIA 与 Microsoft 在旧金山 Windows AI and Surface 活动上宣布围绕 Windows PC 本地 AI 智能体协同设计硬件和软件。
推荐理由:文章集中说明 RTX Spark、DGX Station for Windows 与 MXC 的本地智能体软硬件组合,便于理解 Windows 端侧 AI 的部署路径。
Liquid AI 发布 d1 决策模型家族中的两款开放权重模型 d1-3B 和实验性 d1-omni-600M,均已上线 Hugging Face。
推荐理由:原文给出两款开放权重决策模型的参数规模、多模态输入范围和端侧延迟,可用于比较小模型在结构化判断场景的部署价值。
Google 正式推出 EmbeddingGemma 2,将嵌入能力从文本扩展到代码、图像、视频和音频,并把这些内容统一映射到同一嵌入空间。模型总参数 7.4 亿,基于 Gemma 4 架构,以 Apache 2.0 许可发布;纯文本部分为 2.7 亿参数,可按需加入视觉和音频编码器。
推荐理由:原文给出参数量、内存占用、上下文和下载渠道,可帮助开发者评估端侧多模态 RAG 的接入可行性。
Google DeepMind 发布 EmbeddingGemma 2,这是基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数多模态嵌入模型,可将代码、文本、图像、视频和音频映射到统一嵌入空间。
推荐理由:原文给出参数量、模块化编码器、8K token 上下文和端侧内存数据,可帮助判断本地多模态检索方案的资源门槛。
Google DeepMind 发布 EmbeddingGemma 2,这是一个 740M 参数的端侧多模态嵌入模型,可将文本、代码、图像、视频和音频映射到统一嵌入空间。
推荐理由:文章给出参数量、上下文、内存占用和部署工具链,可帮助判断端侧多模态检索与本地 RAG 的落地边界。
Hugging Face 宣布 transformers 新增 GGUF 模型支持,可通过 from_pretrained 直接加载 Hub 上的量化检查点并在本机生成。
推荐理由:文章说明了 transformers 直接加载 GGUF 的入口、Apple Silicon 限制和性能实现,便于评估本地 PyTorch 推理工作流。
Hugging Face 发布 @huggingface/kernels 预览版和 207 个 Apache-2.0 许可的 WebGPU 内核,用于从 Hugging Face Hub 加载并运行浏览器本地 AI 算子。
推荐理由:原文同时给出内核仓库结构、JavaScript 加载方式和与 ORT WebGPU 的单算子对比,便于评估浏览器本地推理底层优化路径。
Liquid AI 发布面向 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 的 DSpark 草稿模型检查点,通过推测解码提升推理速度且不改变贪心解码输出。
推荐理由:文章给出三款草稿模型的参数规模、H100 与 M4 Max 实测加速及 llama.cpp、SGLang 接入方式,便于评估端侧和服务端部署收益。
Google DeepMind 发布大规模多语言手语转文本模型 SL2T,首先支持 ASL 到英语,并在 Pixel 11 的 Gboard 和 Live Transcribe 中提供手语转文字听写,更多设备和语言将随后推出。
推荐理由:原文说明了 SL2T 的手语到文本技术路径、训练规模和首批落地入口,可帮助读者理解视觉手语翻译进入消费产品的方式。
NVIDIA 在 Hugging Face 发布 Magpie TTS Multilingual 开放权重模型,参数规模364M,支持12种语言,并提供 NVIDIA NIM 生产推理容器。
推荐理由:文章给出12种语言、364M参数和多GPU延迟数据,可帮助评估自建低延迟语音智能体的部署方案。
Google DeepMind 推出 Gemini Robotics 2,包含 VLA 模型 Gemini Robotics 2、具身推理模型 Gemini Robotics ER 2 和本地运行的 Gemini Robotics On-Device 2。
推荐理由:官方拆解了三款模型在全身控制、灵巧操作、长程协作和端侧适配上的分工,可帮助理解机器人智能层的能力边界。
Google 宣布为已部署的冻结 Gemini Nano v3 模型加装轻量 MTP 头,并已在 Pixel 9 和 Pixel 10 系列推出,用于加速 AI Notification Summaries 和 Proofread。
推荐理由:文章解释了冻结 Gemini Nano v3 主干并加装 MTP 头的移动端加速方案,可帮助理解端侧 LLM 在内存和能耗约束下的工程取舍。
Google DeepMind 发布实验性开源模型 DiffusionGemma,采用 26B MoE 架构、推理时激活 3.8B 参数,并以 Apache 2.0 许可证在 Hugging Face 开放权重。
推荐理由:原文给出并行文本扩散的架构取舍、硬件门槛和本地推理速度,可帮助判断其适用场景。
Google DeepMind 发布 Gemma 4 12B,这是一款面向笔记本本地运行的智能体多模态模型,可在 16GB VRAM 或统一内存上运行。模型采用无独立多模态编码器的统一架构,视觉和音频输入直接进入 LLM 主干,并内置 Multi-Token Prediction drafters 以降低延迟;官方称其基准性能接近 26B MoE,且总内存占用不到一半。
推荐理由:官方说明了无编码器统一架构、16GB 内存本地运行和 Apache 2.0 开放方式,便于评估端侧多模态智能体开发可行性。
Google Research 在 Nature 论文中提出 PHRM 研究系统,可在用户面部解锁手机后通过前置摄像头拍摄 8 秒面部视频,在日常使用中被动估计心率和每日静息心率。
推荐理由:文章给出跨肤色验证误差、真实环境测试和数据集开放方式,可帮助读者理解手机摄像头被动测心率的可行边界。
Mistral AI 发布 Voxtral Transcribe 2,包含面向批处理的 Voxtral Mini Transcribe V2 和面向实时场景的 Voxtral Realtime,均支持 13 种语言。
推荐理由:官方同时给出批处理与实时两款语音转文字模型的延迟、价格、语言支持和开放权重安排,便于比较接入方式。
Mistral AI 发布下一代 Mistral 3 模型家族,包含 3B、8B、14B 的 Ministral 3 稠密模型,以及 41B active、675B 总参数的稀疏 MoE 模型 Mistral Large 3,全部采用 Apache 2.0 许可。
推荐理由:官方同时给出模型规格、开源许可、部署平台和基准位置,便于读者按端侧到数据中心的不同场景选型。