跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 41–60 条 · 共 88 条
9月10日周四
  1. Fireworks AI(网页)62

    Genspark 与 Fireworks Lab 发布 Gen-1 Slides,后训练 MiniMax M3 实现 Opus 5 级幻灯片生成

    Genspark 与 Fireworks Lab 将开源多模态模型 MiniMax M3 后训练为 Gen-1 Slides,可端到端规划、撰写并自检幻灯片,现已作为 Genspark AI Slides Standard 模式默认模型上线。

    推荐理由:文章给出了从 MiniMax M3 后训练到专用幻灯片模型的完整 RL 方法、成本对比和生产指标,适合了解长程智能体训练如何落地。

9月3日周四
9月2日周三
8月28日周五
  1. Google Research62

    Google Earth AI 推出实验性研究能力 Planetary Prediction Engine,自动化全球地理空间建模

    Google Research 介绍 Google Earth AI 旗下实验性研究能力 Planetary Prediction Engine(PPE),可根据自然语言查询自动完成地理空间数据发现、清洗、特征工程、模型训练与评估,并生成报告。

    推荐理由:文章给出了自动化地理空间建模的三阶段流程,并在公共卫生、粮食安全和疫情预测任务中提供了可对比的基准结果。

8月18日周二
  1. Hugging Face Blog74

    Sentence Transformers v6.0 推出 MultiVectorEncoder,支持 ColBERT 式多向量晚交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,并可直接加载 PyLate、Stanford-NLP ColBERT 检查点,也支持 colpali-engine 视觉文档检索模型。

    推荐理由:文章围绕 Sentence Transformers v6.0 的 MultiVectorEncoder,给出加载、检索、索引和多模态用法,便于直接迁移到现有 RAG 流程。

8月12日周三
  1. Google DeepMind83

    Google DeepMind 发布 SL2T 手语转文本模型,并在 Pixel 11 的 Gboard 与 Live Transcribe 落地

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,首先支持 ASL 到英语,并在 Pixel 11 的 Gboard 和 Live Transcribe 中提供手语转文字听写,更多设备和语言将随后推出。

    推荐理由:原文说明了 SL2T 的手语到文本技术路径、训练规模和首批落地入口,可帮助读者理解视觉手语翻译进入消费产品的方式。

  2. Google Research75

    Google Research 推出 AMIE (Video),在实时视频临床问诊中达到专科医生级表现

    Google Research 发布基于 Gemini 和 Project Astra 的 AMIE (Video),可进行同步临床视频问诊、识别非语言线索、引导虚拟查体并实时完成诊断推理。

    推荐理由:文章给出 AMIE (Video) 的三智能体架构和 300 场随机视频问诊结果,可用于理解多模态临床 AI 从文本走向实时音视频的技术路径。

8月10日周一
  1. Fireworks AI(网页)75

    Fireworks 上线 Meta Muse Glimmer 30B,面向 Always-On 智能体工作流

    Fireworks 宣布 Meta 的 Muse Glimmer 30B 已在 serverless 和 on-demand 部署中可用,定位为支持多轮连续工具调用、失败恢复和长上下文任务的 Always-On 智能体模型。

    推荐理由:文章给出模型架构、部署方式和面向智能体工作流的基准结果,可帮助判断其在长链路工具调用场景中的适配性。

8月4日周二
  1. Mistral AI75

    Mistral AI 发布 3B 开源多模态安全分类模型 Shieldstral

    Mistral AI 发布 3B 开源权重多模态安全分类模型 Shieldstral,采用 Apache 2.0 许可,可在单张 16GB GPU 上运行。模型把内容审核建模为二元问答任务,用户在推理时用自然语言提供策略,模型通过单个 token 输出校准的 yes/no 安全分数,无需重新训练即可评估文本、图像及文本加图像内容。

    推荐理由:原文说明了用自然语言策略在推理时适配审核规则的设计,便于理解小模型安全分类器的工程取舍。

7月30日周四
7月28日周二
7月27日周一
  1. Fireworks AI(网页)82

    Fireworks 上线 Kimi K3 Day-0 推理与训练,并推出美国专属 Serverless 端点

    Fireworks 宣布开放权重模型 Kimi K3 已在平台 Day-0 提供推理和训练,支持按 token 付费、Serverless 接入、Batch 模式 50% 折扣,以及美国境内推理和 Zero Data Retention。

    推荐理由:文章同时给出推理、训练入口、数据驻留与零保留策略,便于团队评估用开放权重模型承接生产任务的可行性。

7月21日周二
7月15日周三
7月7日周二
  1. Hugging Face Blog74

    LeRobot v0.6.0 发布:加入世界模型策略、奖励模型 API 与六项仿真基准

    Hugging Face 发布 LeRobot v0.6.0,围绕想象、评估和改进机器人学习闭环,新增 VLA-JEPA、FastWAM、LingBot-VA 世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等 VLA。

    推荐理由:版本说明覆盖模型、奖励模型、数据集、评测和部署链路,可帮助机器人学习团队判断哪些新组件能接入现有训练流程。

7月6日周一