跳到正文

#多模态

今日 0 条
5月29日周五
5月28日周四
5月27日周三
5月22日周五
5月18日周一
  1. Google DeepMind65

    Google DeepMind 为 Project Genie 推出 Street View 真实地点生成能力

    Google DeepMind 在 Project Genie 中推出 Street View grounding 能力,让实验性世界模型 Genie 可基于 Google Street View 的真实地点影像生成可交互的想象世界。

    推荐理由:官方说明了 Project Genie 接入 Street View 的生成方式、可用地区和订阅入口,便于理解世界模型从虚拟场景走向真实地点锚定的产品路径。

  2. Google DeepMind86

    Google DeepMind 发布 Gemini Omni Flash 多模态视频生成模型

    Google DeepMind 推出 Omni 系列首个模型 Gemini Omni Flash,支持组合图像、音频、视频和文本输入,生成依托 Gemini 现实知识的高质量视频,并可通过多轮自然语言对话编辑视频。

    推荐理由:可了解 Gemini Omni Flash 的多模态输入、对话式视频编辑与上线渠道,便于对比现有视频生成工具的工作流差异。

5月17日周日
  1. Google DeepMind73

    Google 扩展 SynthID 与 C2PA 内容溯源验证工具,并推出 AI Content Detection API

    Google 宣布在 Search、Gemini、Chrome、Pixel 和 Cloud 中扩展内容透明度与验证工具,并推出 Google Cloud Gemini Enterprise Agent Platform 上的 AI Content Detection API。

    推荐理由:文章集中说明 SynthID、C2PA Content Credentials 和新检测 API 在 Google 产品中的落地范围,便于理解跨平台内容溯源工具链的进展。

5月16日周六
5月2日周六
4月30日周四
  1. Google DeepMind67

    Google DeepMind 发布 AI co-clinician 医疗 AI 研究计划并公布多模态问诊评测

    Google DeepMind 宣布 AI co-clinician 研究计划,探索在医生监督下由 AI 智能体辅助患者诊疗,并发布相关技术报告与模拟评测。医生侧评测覆盖 98 个初级保健问题,系统在 97 个案例中没有关键错误;在 OpenFDA 的 RxQA 开放式用药问答上也优于其他前沿模型。

    推荐理由:材料同时给出医生辅助与患者远程问诊两类评测,可帮助读者理解医疗 AI 从文本问答走向实时多模态协作的边界。

4月23日周四
  1. Google Research69

    Google Photos Auto frame 上线照片视角重构功能

    Google Research 宣布 Google Photos 的 Auto frame 功能上线照片视角重构能力,可在拍摄后自动调整相机位置、朝向和焦距。该方法先通过内部 3D 点图模型重建场景、人体和面部并估计相机参数,再用生成式 latent diffusion 模型填补新视角露出的缺失区域。

    推荐理由:文章拆解了 Google Photos Auto frame 的两阶段 3D 感知生成编辑流程,可帮助理解视角重构图功能的技术路径。

4月13日周一
4月9日周四
4月3日周五
3月29日周日
  1. Google DeepMind64

    Google DeepMind 发布由 Gemini 驱动的 AI 指针实验,并在 Chrome 与 Googlebook 中推进 Magic Pointer

    Google DeepMind 公布由 Gemini 驱动的 AI 指针实验,让用户通过指向屏幕内容并说话来完成总结、比较、改图、查路线等操作。该方案遵循保持工作流、展示并说明、支持 this 和 that 短指令、把像素转为可操作实体四项原则。

    推荐理由:原文展示了指针如何结合视觉语义与语音指令,并说明 Chrome 与 Googlebook 的落地入口,可帮助理解跨应用 AI 交互的产品方向。

3月25日周三
  1. Google Research65

    Google 发布 Vibe Coding XR,用 Gemini 和 XR Blocks 加速 AI + XR 原型开发

    Google 发布 Vibe Coding XR 工作流,通过 Gemini 与基于 Web 的 XR Blocks 框架配合,把自然语言提示词直接生成具备物理感知的 Android XR 应用,官方称可在 60 秒内完成。

    推荐理由:文章说明了自然语言生成 Android XR 应用的工作流、60 秒内出原型的入口和 VCXR60 初步评测,便于理解 XR 原型开发的新路径。

  2. Google Research42

    S2Vec 如何学习城市语言:Google Earth AI 解析现代建成环境

    Google Research 在 Google Earth AI 计划下推出 S2Vec,用 S2 Geometry 栅格化建成环境,并通过 masked autoencoding 自监督学习通用嵌入向量。S2Vec 在美国人口密度、收入中位数等零样本地理适应任务中通常是最佳单模型;与图像嵌入融合后,效果通常优于任一单一模态,但在树木覆盖、海拔等环境任务上仍需改进。

3月18日周三
  1. Google Research55

    Google Research 在 The Check Up 展示医疗 AI 研究与临床落地进展

    Google Research 在 The Check Up 活动中介绍其医疗 AI 组合,覆盖个性化健康、临床辅助、开发者生态、公共卫生和生物医学发现。与 Fitbit 的研究显示 Personal Health Agent 比单任务应用更能支持长期健康;乳腺癌筛查实验系统识别出 25% 此前漏检的 interval cancers,糖尿病视网膜病变筛查已超过 100 万次。

3月17日周二
3月12日周四
1月10日周六
  1. Berkeley AI Research41

    成像系统的信息驱动设计:基于互信息直接评估与优化

    Berkeley AI Research 提出基于互信息直接评估并优化成像系统的框架,仅用含噪测量与噪声模型即可量化系统区分物体的能力。该指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域均能预测解码器性能,优化所得设计可媲美 SOTA 端到端方法,且占用更少内存与算力、无需任务专用解码器。相关成果发表于 NeurIPS 2025。

12月17日周三
12月9日周二
  1. Mistral AI89

    Mistral AI 发布 Devstral 2 编码模型与 Mistral Vibe CLI

    Mistral AI 发布 Devstral 2 编码模型家族,包括 123B 的 Devstral 2 和 24B 的 Devstral Small 2,并推出开源终端编码助手 Mistral Vibe CLI。

    推荐理由:原文同时给出两款开源编码模型的参数、许可、SWE-bench Verified 成绩和本地部署条件,便于比较开放模型与闭源模型的工程取舍。

12月3日周三
  1. Mistral AI91

    Mistral AI 发布 Mistral 3 模型家族,含 Mistral Large 3 与 Ministral 3

    Mistral AI 发布下一代 Mistral 3 模型家族,包含 3B、8B、14B 的 Ministral 3 稠密模型,以及 41B active、675B 总参数的稀疏 MoE 模型 Mistral Large 3,全部采用 Apache 2.0 许可。

    推荐理由:官方同时给出模型规格、开源许可、部署平台和基准位置,便于读者按端侧到数据中心的不同场景选型。

11月19日周三
8月1日周五
7月17日周四
  1. Mistral AI72

    Mistral AI 为 Le Chat 推出 Deep Research、语音模式、Projects 与图像编辑等功能

    Mistral AI 为 Le Chat 发布多项新功能,包括 Deep Research 预览模式、基于 Voxtral 的语音模式、由 Magistral 驱动的多语言 Think 模式、Projects 文件夹,以及与 Black Forest Labs 合作的高级图像编辑。

    推荐理由:官方一次性说明 Le Chat 在研究、语音、推理、项目管理和图像编辑上的能力扩展,可用于对比通用 AI 助手的功能演进。

7月15日周二
5月7日周三
3月17日周一
3月7日周五
  1. Mistral AI79

    Mistral AI 发布 Mistral OCR 文档理解 API

    Mistral AI 发布 Mistral OCR,这是一个面向图像和 PDF 的光学字符识别 API,可按顺序提取交错的文本与图像,并支持表格、公式、LaTeX、多语言和多模态文档。

    推荐理由:官方说明了 API 定价、速度、文档结构化输出和自托管选项,便于评估其接入 RAG 与企业文档流程的可行性。

2月7日周五