跳到正文

#多模态

今日 0 条
9月10日周四
  1. Fireworks AI(网页)62

    Genspark 与 Fireworks Lab 发布 Gen-1 Slides,后训练 MiniMax M3 实现 Opus 5 级幻灯片生成

    Genspark 与 Fireworks Lab 将开源多模态模型 MiniMax M3 后训练为 Gen-1 Slides,可端到端规划、撰写并自检幻灯片,现已作为 Genspark AI Slides Standard 模式默认模型上线。

    推荐理由:文章给出了从 MiniMax M3 后训练到专用幻灯片模型的完整 RL 方法、成本对比和生产指标,适合了解长程智能体训练如何落地。

9月3日周四
9月2日周三
9月1日周二
8月28日周五
  1. Google Research62

    Google Earth AI 推出实验性研究能力 Planetary Prediction Engine,自动化全球地理空间建模

    Google Research 介绍 Google Earth AI 旗下实验性研究能力 Planetary Prediction Engine(PPE),可根据自然语言查询自动完成地理空间数据发现、清洗、特征工程、模型训练与评估,并生成报告。

    推荐理由:文章给出了自动化地理空间建模的三阶段流程,并在公共卫生、粮食安全和疫情预测任务中提供了可对比的基准结果。

8月26日周三
8月22日周六
8月21日周五
8月18日周二
  1. Hugging Face Blog74

    Sentence Transformers v6.0 推出 MultiVectorEncoder,支持 ColBERT 式多向量晚交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,并可直接加载 PyLate、Stanford-NLP ColBERT 检查点,也支持 colpali-engine 视觉文档检索模型。

    推荐理由:文章围绕 Sentence Transformers v6.0 的 MultiVectorEncoder,给出加载、检索、索引和多模态用法,便于直接迁移到现有 RAG 流程。

8月17日周一
8月13日周四
8月12日周三
  1. Google DeepMind83

    Google DeepMind 发布 SL2T 手语转文本模型,并在 Pixel 11 的 Gboard 与 Live Transcribe 落地

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,首先支持 ASL 到英语,并在 Pixel 11 的 Gboard 和 Live Transcribe 中提供手语转文字听写,更多设备和语言将随后推出。

    推荐理由:原文说明了 SL2T 的手语到文本技术路径、训练规模和首批落地入口,可帮助读者理解视觉手语翻译进入消费产品的方式。

  2. Google Research75

    Google Research 推出 AMIE (Video),在实时视频临床问诊中达到专科医生级表现

    Google Research 发布基于 Gemini 和 Project Astra 的 AMIE (Video),可进行同步临床视频问诊、识别非语言线索、引导虚拟查体并实时完成诊断推理。

    推荐理由:文章给出 AMIE (Video) 的三智能体架构和 300 场随机视频问诊结果,可用于理解多模态临床 AI 从文本走向实时音视频的技术路径。

8月10日周一
  1. Fireworks AI(网页)75

    Fireworks 上线 Meta Muse Glimmer 30B,面向 Always-On 智能体工作流

    Fireworks 宣布 Meta 的 Muse Glimmer 30B 已在 serverless 和 on-demand 部署中可用,定位为支持多轮连续工具调用、失败恢复和长上下文任务的 Always-On 智能体模型。

    推荐理由:文章给出模型架构、部署方式和面向智能体工作流的基准结果,可帮助判断其在长链路工具调用场景中的适配性。

8月5日周三
8月4日周二
  1. Mistral AI75

    Mistral AI 发布 3B 开源多模态安全分类模型 Shieldstral

    Mistral AI 发布 3B 开源权重多模态安全分类模型 Shieldstral,采用 Apache 2.0 许可,可在单张 16GB GPU 上运行。模型把内容审核建模为二元问答任务,用户在推理时用自然语言提供策略,模型通过单个 token 输出校准的 yes/no 安全分数,无需重新训练即可评估文本、图像及文本加图像内容。

    推荐理由:原文说明了用自然语言策略在推理时适配审核规则的设计,便于理解小模型安全分类器的工程取舍。

7月30日周四
7月28日周二
7月27日周一
  1. Fireworks AI(网页)82

    Fireworks 上线 Kimi K3 Day-0 推理与训练,并推出美国专属 Serverless 端点

    Fireworks 宣布开放权重模型 Kimi K3 已在平台 Day-0 提供推理和训练,支持按 token 付费、Serverless 接入、Batch 模式 50% 折扣,以及美国境内推理和 Zero Data Retention。

    推荐理由:文章同时给出推理、训练入口、数据驻留与零保留策略,便于团队评估用开放权重模型承接生产任务的可行性。

7月21日周二
7月16日周四
  1. Hugging Face Blog37

    DharmaOCR 凭巴西葡萄牙语专精训练,在 OCR 基准上击败更新的 Mistral OCR4 与 Unlimited-OCR

    DharmaOCR 在面向葡萄牙语的 OCR 基准上以 0.925 分击败发布更晚的 Mistral OCR4(0.798)和 Unlimited-OCR(0.7587)。该模型经监督微调与 DPO 两阶段训练,全部参数专注巴西葡萄牙语,取得最高提取质量分与最低退化率,证明领域专精优势未被新架构消除。

7月15日周三
7月9日周四
7月7日周二
  1. Hugging Face Blog74

    LeRobot v0.6.0 发布:加入世界模型策略、奖励模型 API 与六项仿真基准

    Hugging Face 发布 LeRobot v0.6.0,围绕想象、评估和改进机器人学习闭环,新增 VLA-JEPA、FastWAM、LingBot-VA 世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等 VLA。

    推荐理由:版本说明覆盖模型、奖励模型、数据集、评测和部署链路,可帮助机器人学习团队判断哪些新组件能接入现有训练流程。

7月6日周一
7月3日周五
  1. Google DeepMind45

    Google DeepMind 与 A24 宣布首创性研究合作关系

    Google DeepMind 与电影公司 A24 宣布达成首创性研究合作,双方将开展长期、跨多个项目的深度研发协作。合作将 Google DeepMind 的技术创新嵌入创作流程,由 A24 及其电影人为新技术提供反馈,共同开发新工作流与技法、拓展叙事可能性,Google 同时对 A24 进行了投资。

7月1日周三
  1. Google DeepMind87

    Google DeepMind 发布 Nano Banana 2 Lite 并向开发者开放 Gemini Omni Flash

    Google DeepMind 发布图像模型 Nano Banana 2 Lite,并首次通过 Google AI Studio、Gemini API 和 Gemini Enterprise Agent Platform 向开发者开放视频生成与对话式编辑模型 Gemini Omni Flash。

    推荐理由:原文同时给出两款生成媒体模型的接入平台、价格、延迟和当前限制,便于开发者评估图像到视频工作流的组合用法。

6月23日周二
  1. Mistral AI77

    Mistral 发布 Mistral OCR 4 文档解析模型

    Mistral 发布 Mistral OCR 4,新增边界框、块类型分类和行内置信度分数,支持 10 个语言组中的 170 种语言,并可在单个容器内完全自托管。

    推荐理由:官方完整说明了结构化文档解析能力、170 种语言支持、基准表现、API 与自托管价格,便于评估企业文档入库方案。

6月17日周三
  1. Google Research45

    Google Earth AI 如何从像素走向规划,用高分辨率深度学习助力自然恢复

    Google Research 发布矢量化数据集,将 Farmscapes 2020 高分辨率栅格地图转化为可操作的英国树篱、石墙和矮林清单,支持土地所有者测量并扩展这些细尺度生态特征。该框架基于 RSF ViT Backbone 微调,结合亚米级影像、1 米 LiDAR 与 Polsby–Popper 紧凑度评分,解决重叠拓扑、瓦片切割和大规模栅格转矢量难题。

6月13日周六
  1. Google Research47

    Google Research 研究 AI 如何帮助用户理解皮肤问题

    Google Research 发布针对皮肤问题 AI 信息工具的研究,评估用户在 AI 辅助下识别病症与决定后续行动的能力。2345 名参与者的随机对照实验显示,AI 组病症命名准确率为 23%,对照组为 8%,但标准 AI 组的后续行动准确率未显著提升。研究还通过混合方法考察用户如何将 AI 获得的理解与医生沟通进行比较。

6月9日周二
  1. Google DeepMind83

    Google DeepMind 发布 Gemma 4 12B 无编码器统一多模态模型

    Google DeepMind 发布 Gemma 4 12B,这是一款面向笔记本本地运行的智能体多模态模型,可在 16GB VRAM 或统一内存上运行。模型采用无独立多模态编码器的统一架构,视觉和音频输入直接进入 LLM 主干,并内置 Multi-Token Prediction drafters 以降低延迟;官方称其基准性能接近 26B MoE,且总内存占用不到一半。

    推荐理由:官方说明了无编码器统一架构、16GB 内存本地运行和 Apache 2.0 开放方式,便于评估端侧多模态智能体开发可行性。

6月5日周五
  1. Google Research64

    Google Research 发布 PHRM 手机摄像头被动心率监测研究

    Google Research 在 Nature 论文中提出 PHRM 研究系统,可在用户面部解锁手机后通过前置摄像头拍摄 8 秒面部视频,在日常使用中被动估计心率和每日静息心率。

    推荐理由:文章给出跨肤色验证误差、真实环境测试和数据集开放方式,可帮助读者理解手机摄像头被动测心率的可行边界。