跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 1–20 条 · 共 22 条
今天10月13日周二
  1. Hacker News:AI 热帖78

    Anthropic 研究称小型 AI 模型或在无需数据中心的情况下实现自我复制

    Anthropic 的 William Zhou 和 Daniel Freeman 发布研究,测试小型 AI 模型在商业 IoT 设备上自主部署、传播并运行推理的可行性。

    推荐理由:研究用真实 Android TV 盒子和受控 GCP 节点拆解 AI 蠕虫复制链路,为评估端侧模型的网络安全风险提供了可核对的实验框架。

10月9日周五
  1. Hacker News:AI 热帖76

    Google 开源端侧 GPU 推理引擎 ML Drift

    Google AI Edge 团队以 Apache 2.0 许可证开源 ML Drift,这是面向端侧 AI/ML 推理的跨平台 GPU 计算引擎,并作为 LiteRT 的核心 GPU 加速引擎。

    推荐理由:文章梳理了 ML Drift 的跨平台 GPU 抽象、LiteRT 集成和迁移路径,便于端侧推理开发者评估旧 TFLite GPU delegate 的替代方案。

10月8日周四
10月7日周三
  1. IT之家(RSS)78

    Google 发布 EmbeddingGemma 2:7.4 亿参数多模态嵌入模型,量化后手机端文本运行约需 191MB

    Google 正式推出 EmbeddingGemma 2,将嵌入能力从文本扩展到代码、图像、视频和音频,并把这些内容统一映射到同一嵌入空间。模型总参数 7.4 亿,基于 Gemma 4 架构,以 Apache 2.0 许可发布;纯文本部分为 2.7 亿参数,可按需加入视觉和音频编码器。

    推荐理由:原文给出参数量、内存占用、上下文和下载渠道,可帮助开发者评估端侧多模态 RAG 的接入可行性。

  2. Google DeepMind80

    Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2

    Google DeepMind 发布 EmbeddingGemma 2,这是基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数多模态嵌入模型,可将代码、文本、图像、视频和音频映射到统一嵌入空间。

    推荐理由:原文给出参数量、模块化编码器、8K token 上下文和端侧内存数据,可帮助判断本地多模态检索方案的资源门槛。

9月22日周二
9月1日周二
8月21日周五
  1. Hugging Face Blog60

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,LFM2.5 推理最高加速 3.18 倍

    Liquid AI 发布面向 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 的 DSpark 草稿模型检查点,通过推测解码提升推理速度且不改变贪心解码输出。

    推荐理由:文章给出三款草稿模型的参数规模、H100 与 M4 Max 实测加速及 llama.cpp、SGLang 接入方式,便于评估端侧和服务端部署收益。

8月12日周三
  1. Google DeepMind83

    Google DeepMind 发布 SL2T 手语转文本模型,并在 Pixel 11 的 Gboard 与 Live Transcribe 落地

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,首先支持 ASL 到英语,并在 Pixel 11 的 Gboard 和 Live Transcribe 中提供手语转文字听写,更多设备和语言将随后推出。

    推荐理由:原文说明了 SL2T 的手语到文本技术路径、训练规模和首批落地入口,可帮助读者理解视觉手语翻译进入消费产品的方式。

8月11日周二
7月28日周二
6月27日周六
6月11日周四
6月9日周二
  1. Google DeepMind83

    Google DeepMind 发布 Gemma 4 12B 无编码器统一多模态模型

    Google DeepMind 发布 Gemma 4 12B,这是一款面向笔记本本地运行的智能体多模态模型,可在 16GB VRAM 或统一内存上运行。模型采用无独立多模态编码器的统一架构,视觉和音频输入直接进入 LLM 主干,并内置 Multi-Token Prediction drafters 以降低延迟;官方称其基准性能接近 26B MoE,且总内存占用不到一半。

    推荐理由:官方说明了无编码器统一架构、16GB 内存本地运行和 Apache 2.0 开放方式,便于评估端侧多模态智能体开发可行性。

6月5日周五
  1. Google Research64

    Google Research 发布 PHRM 手机摄像头被动心率监测研究

    Google Research 在 Nature 论文中提出 PHRM 研究系统,可在用户面部解锁手机后通过前置摄像头拍摄 8 秒面部视频,在日常使用中被动估计心率和每日静息心率。

    推荐理由:文章给出跨肤色验证误差、真实环境测试和数据集开放方式,可帮助读者理解手机摄像头被动测心率的可行边界。

2月5日周四
12月3日周三
  1. Mistral AI91

    Mistral AI 发布 Mistral 3 模型家族,含 Mistral Large 3 与 Ministral 3

    Mistral AI 发布下一代 Mistral 3 模型家族,包含 3B、8B、14B 的 Ministral 3 稠密模型,以及 41B active、675B 总参数的稀疏 MoE 模型 Mistral Large 3,全部采用 Apache 2.0 许可。

    推荐理由:官方同时给出模型规格、开源许可、部署平台和基准位置,便于读者按端侧到数据中心的不同场景选型。