跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 61–80 条 · 共 88 条
7月1日周三
  1. Google DeepMind87

    Google DeepMind 发布 Nano Banana 2 Lite 并向开发者开放 Gemini Omni Flash

    Google DeepMind 发布图像模型 Nano Banana 2 Lite,并首次通过 Google AI Studio、Gemini API 和 Gemini Enterprise Agent Platform 向开发者开放视频生成与对话式编辑模型 Gemini Omni Flash。

    推荐理由:原文同时给出两款生成媒体模型的接入平台、价格、延迟和当前限制,便于开发者评估图像到视频工作流的组合用法。

6月23日周二
  1. Mistral AI77

    Mistral 发布 Mistral OCR 4 文档解析模型

    Mistral 发布 Mistral OCR 4,新增边界框、块类型分类和行内置信度分数,支持 10 个语言组中的 170 种语言,并可在单个容器内完全自托管。

    推荐理由:官方完整说明了结构化文档解析能力、170 种语言支持、基准表现、API 与自托管价格,便于评估企业文档入库方案。

6月9日周二
  1. Google DeepMind83

    Google DeepMind 发布 Gemma 4 12B 无编码器统一多模态模型

    Google DeepMind 发布 Gemma 4 12B,这是一款面向笔记本本地运行的智能体多模态模型,可在 16GB VRAM 或统一内存上运行。模型采用无独立多模态编码器的统一架构,视觉和音频输入直接进入 LLM 主干,并内置 Multi-Token Prediction drafters 以降低延迟;官方称其基准性能接近 26B MoE,且总内存占用不到一半。

    推荐理由:官方说明了无编码器统一架构、16GB 内存本地运行和 Apache 2.0 开放方式,便于评估端侧多模态智能体开发可行性。

6月5日周五
  1. Google Research64

    Google Research 发布 PHRM 手机摄像头被动心率监测研究

    Google Research 在 Nature 论文中提出 PHRM 研究系统,可在用户面部解锁手机后通过前置摄像头拍摄 8 秒面部视频,在日常使用中被动估计心率和每日静息心率。

    推荐理由:文章给出跨肤色验证误差、真实环境测试和数据集开放方式,可帮助读者理解手机摄像头被动测心率的可行边界。

5月22日周五
5月18日周一
  1. Google DeepMind65

    Google DeepMind 为 Project Genie 推出 Street View 真实地点生成能力

    Google DeepMind 在 Project Genie 中推出 Street View grounding 能力,让实验性世界模型 Genie 可基于 Google Street View 的真实地点影像生成可交互的想象世界。

    推荐理由:官方说明了 Project Genie 接入 Street View 的生成方式、可用地区和订阅入口,便于理解世界模型从虚拟场景走向真实地点锚定的产品路径。

  2. Google DeepMind86

    Google DeepMind 发布 Gemini Omni Flash 多模态视频生成模型

    Google DeepMind 推出 Omni 系列首个模型 Gemini Omni Flash,支持组合图像、音频、视频和文本输入,生成依托 Gemini 现实知识的高质量视频,并可通过多轮自然语言对话编辑视频。

    推荐理由:可了解 Gemini Omni Flash 的多模态输入、对话式视频编辑与上线渠道,便于对比现有视频生成工具的工作流差异。

5月17日周日
  1. Google DeepMind73

    Google 扩展 SynthID 与 C2PA 内容溯源验证工具,并推出 AI Content Detection API

    Google 宣布在 Search、Gemini、Chrome、Pixel 和 Cloud 中扩展内容透明度与验证工具,并推出 Google Cloud Gemini Enterprise Agent Platform 上的 AI Content Detection API。

    推荐理由:文章集中说明 SynthID、C2PA Content Credentials 和新检测 API 在 Google 产品中的落地范围,便于理解跨平台内容溯源工具链的进展。

5月16日周六
4月30日周四
  1. Google DeepMind67

    Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划并公布多模态问诊评测

    Google DeepMind 宣布 AI co-clinician 研究计划,探索在医生监督下由 AI 智能体辅助患者诊疗,并发布相关技术报告与模拟评测。医生侧评测覆盖 98 个初级保健问题,系统在 97 个案例中没有关键错误;在 OpenFDA 的 RxQA 开放式用药问答上也优于其他前沿模型。

    推荐理由:材料同时给出医生辅助与患者远程问诊两类评测,可帮助读者理解医疗 AI 从文本问答走向实时多模态协作的边界。

4月23日周四
  1. Google Research69

    Google Photos Auto frame 上线照片视角重构功能

    Google Research 宣布 Google Photos 的 Auto frame 功能上线照片视角重构能力,可在拍摄后自动调整相机位置、朝向和焦距。该方法先通过内部 3D 点图模型重建场景、人体和面部并估计相机参数,再用生成式 latent diffusion 模型填补新视角露出的缺失区域。

    推荐理由:文章拆解了 Google Photos Auto frame 的两阶段 3D 感知生成编辑流程,可帮助理解视角重构图功能的技术路径。

4月13日周一
4月3日周五
3月29日周日
  1. Google DeepMind64

    Google DeepMind 发布由 Gemini 驱动的 AI 指针实验,并在 Chrome 与 Googlebook 中推进 Magic Pointer

    Google DeepMind 公布由 Gemini 驱动的 AI 指针实验,让用户通过指向屏幕内容并说话来完成总结、比较、改图、查路线等操作。该方案遵循保持工作流、展示并说明、支持 this 和 that 短指令、把像素转为可操作实体四项原则。

    推荐理由:原文展示了指针如何结合视觉语义与语音指令,并说明 Chrome 与 Googlebook 的落地入口,可帮助理解跨应用 AI 交互的产品方向。

3月25日周三
  1. Google Research65

    Google 发布 Vibe Coding XR,用 Gemini 和 XR Blocks 加速 AI + XR 原型开发

    Google 发布 Vibe Coding XR 工作流,通过 Gemini 与基于 Web 的 XR Blocks 框架配合,把自然语言提示词直接生成具备物理感知的 Android XR 应用,官方称可在 60 秒内完成。

    推荐理由:文章说明了自然语言生成 Android XR 应用的工作流、60 秒内出原型的入口和 VCXR60 初步评测,便于理解 XR 原型开发的新路径。

3月18日周三
3月17日周二
3月12日周四
12月17日周三