跳到正文

#多模态

今日 12 条
9月7日周一
9月3日周四
9月2日周三
9月1日周二
  1. 公众号:欧巴聊AI42

    实测字节 Doubao-Seed-Evolving:持续进化的真功夫

    字节 Doubao-Seed-Evolving 采用固定模型 ID、无版本号,主打周级别迭代,近期更新重点提升多模态、编程与办公生产力能力。实测中它可高还原复刻淘宝首页,经 PIL 裁剪素材、取色搭建及无头浏览器 8 轮渲染对比完成页面,并生成可玩的低多边形跑酷游戏、《奥德赛》主题 PPT 与 Excel 及 3D 火山模拟。

8月31日周一
  1. 公众号:欧巴聊AI64

    Lovart 国区上线并升级设计工作流,实测品牌设计、矢量图、视频与网页生成

    Lovart 正式开启国区运营并升级设计工作流,国内可直接访问。作者实测其浏览器插件灵感采集、约 100 个专业 Skill、品牌概念板、Logo、视觉规范、海报、空间和周边物料生成,以及一键 PNG/JPG 转 SVG、图片转短视频和可编辑 HTML 网页原型等功能。文章以新中式奶茶店任务串联流程,认为更新重点是减少工具切换,让用户把注意力放回审美与判断。

8月28日周五
  1. Google Research62

    Google Earth AI 推出实验性研究能力 Planetary Prediction Engine,自动化全球地理空间建模

    Google Research 介绍 Google Earth AI 旗下实验性研究能力 Planetary Prediction Engine(PPE),可根据自然语言查询自动完成地理空间数据发现、清洗、特征工程、模型训练与评估,并生成报告。

    推荐理由:文章给出了自动化地理空间建模的三阶段流程,并在公共卫生、粮食安全和疫情预测任务中提供了可对比的基准结果。

8月26日周三
8月22日周六
8月21日周五
8月20日周四
  1. elsewhere:文章(RSS)46

    《信号与噪声》E15 对话 VAST 创始人宋亚宸:用生成式 3D 让普通人创造世界|北坡计划

    VAST 创始人宋亚宸在《信号与噪声》对谈中分享从商汤、参与筹建 MiniMax 到创办 VAST 的经历,聚焦生成式 3D。VAST 核心产品 Tripo AI 可从文字或图片生成 3D 模型,并发布世界模型研究预览 Project Eden,目标是把 3D 生产成本降至接近零,让普通人也能创造可互动世界。

8月18日周二
  1. Hugging Face Blog74

    Sentence Transformers v6.0 推出 MultiVectorEncoder,支持 ColBERT 式多向量晚交互检索

    Sentence Transformers v6.0 新增第四种模型类型 MultiVectorEncoder,用于 ColBERT 式晚交互检索,并可直接加载 PyLate、Stanford-NLP ColBERT 检查点,也支持 colpali-engine 视觉文档检索模型。

    推荐理由:文章围绕 Sentence Transformers v6.0 的 MultiVectorEncoder,给出加载、检索、索引和多模态用法,便于直接迁移到现有 RAG 流程。

8月17日周一
8月13日周四
8月12日周三
  1. Google DeepMind83

    Google DeepMind 发布 SL2T 手语转文本模型,并在 Pixel 11 的 Gboard 与 Live Transcribe 落地

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,首先支持 ASL 到英语,并在 Pixel 11 的 Gboard 和 Live Transcribe 中提供手语转文字听写,更多设备和语言将随后推出。

    推荐理由:原文说明了 SL2T 的手语到文本技术路径、训练规模和首批落地入口,可帮助读者理解视觉手语翻译进入消费产品的方式。

  2. Google Research75

    Google Research 推出 AMIE (Video),在实时视频临床问诊中达到专科医生级表现

    Google Research 发布基于 Gemini 和 Project Astra 的 AMIE (Video),可进行同步临床视频问诊、识别非语言线索、引导虚拟查体并实时完成诊断推理。

    推荐理由:文章给出 AMIE (Video) 的三智能体架构和 300 场随机视频问诊结果,可用于理解多模态临床 AI 从文本走向实时音视频的技术路径。

8月10日周一
  1. Fireworks AI(网页)75

    Fireworks 上线 Meta Muse Glimmer 30B,面向 Always-On 智能体工作流

    Fireworks 宣布 Meta 的 Muse Glimmer 30B 已在 serverless 和 on-demand 部署中可用,定位为支持多轮连续工具调用、失败恢复和长上下文任务的 Always-On 智能体模型。

    推荐理由:文章给出模型架构、部署方式和面向智能体工作流的基准结果,可帮助判断其在长链路工具调用场景中的适配性。

8月5日周三
8月4日周二
  1. Mistral AI75

    Mistral AI 发布 3B 开源多模态安全分类模型 Shieldstral

    Mistral AI 发布 3B 开源权重多模态安全分类模型 Shieldstral,采用 Apache 2.0 许可,可在单张 16GB GPU 上运行。模型把内容审核建模为二元问答任务,用户在推理时用自然语言提供策略,模型通过单个 token 输出校准的 yes/no 安全分数,无需重新训练即可评估文本、图像及文本加图像内容。

    推荐理由:原文说明了用自然语言策略在推理时适配审核规则的设计,便于理解小模型安全分类器的工程取舍。

7月30日周四
7月28日周二
7月27日周一
  1. Fireworks AI(网页)82

    Fireworks 上线 Kimi K3 Day-0 推理与训练,并推出美国专属 Serverless 端点

    Fireworks 宣布开放权重模型 Kimi K3 已在平台 Day-0 提供推理和训练,支持按 token 付费、Serverless 接入、Batch 模式 50% 折扣,以及美国境内推理和 Zero Data Retention。

    推荐理由:文章同时给出推理、训练入口、数据驻留与零保留策略,便于团队评估用开放权重模型承接生产任务的可行性。

7月21日周二
7月16日周四
  1. Hugging Face Blog37

    DharmaOCR 凭巴西葡萄牙语专精训练,在 OCR 基准上击败更新的 Mistral OCR4 与 Unlimited-OCR

    DharmaOCR 在面向葡萄牙语的 OCR 基准上以 0.925 分击败发布更晚的 Mistral OCR4(0.798)和 Unlimited-OCR(0.7587)。该模型经监督微调与 DPO 两阶段训练,全部参数专注巴西葡萄牙语,取得最高提取质量分与最低退化率,证明领域专精优势未被新架构消除。

7月15日周三
7月9日周四
7月7日周二
  1. Hugging Face Blog74

    LeRobot v0.6.0 发布:加入世界模型策略、奖励模型 API 与六项仿真基准

    Hugging Face 发布 LeRobot v0.6.0,围绕想象、评估和改进机器人学习闭环,新增 VLA-JEPA、FastWAM、LingBot-VA 世界模型策略,以及 GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT 等 VLA。

    推荐理由:版本说明覆盖模型、奖励模型、数据集、评测和部署链路,可帮助机器人学习团队判断哪些新组件能接入现有训练流程。

7月6日周一
7月3日周五
  1. Google DeepMind45

    Google DeepMind 与 A24 宣布首创性研究合作关系

    Google DeepMind 与电影公司 A24 宣布达成首创性研究合作,双方将开展长期、跨多个项目的深度研发协作。合作将 Google DeepMind 的技术创新嵌入创作流程,由 A24 及其电影人为新技术提供反馈,共同开发新工作流与技法、拓展叙事可能性,Google 同时对 A24 进行了投资。

7月1日周三
  1. Google DeepMind87

    Google DeepMind 发布 Nano Banana 2 Lite 并向开发者开放 Gemini Omni Flash

    Google DeepMind 发布图像模型 Nano Banana 2 Lite,并首次通过 Google AI Studio、Gemini API 和 Gemini Enterprise Agent Platform 向开发者开放视频生成与对话式编辑模型 Gemini Omni Flash。

    推荐理由:原文同时给出两款生成媒体模型的接入平台、价格、延迟和当前限制,便于开发者评估图像到视频工作流的组合用法。

6月23日周二
  1. Mistral AI77

    Mistral 发布 Mistral OCR 4 文档解析模型

    Mistral 发布 Mistral OCR 4,新增边界框、块类型分类和行内置信度分数,支持 10 个语言组中的 170 种语言,并可在单个容器内完全自托管。

    推荐理由:官方完整说明了结构化文档解析能力、170 种语言支持、基准表现、API 与自托管价格,便于评估企业文档入库方案。