4 张英伟达 Tesla V100 组成的 GPU 集群 AI 推理速度跑赢 2 台 DGX Spark
YouTube 频道 Jun Yamog 用 4 张 Tesla V100 搭配 NVLink 载板，测试 4-bit 量化的 Qwen3.8-Flash-Next 模型推理，长提示处理速度较 2 台 DGX Spark 快 40%、较 M5 Ultra 快 230%。
#部署/工程
#部署/工程
今日 1 条IT之家（RSS）AI 评分4747
Hacker News 热门（buzzing.cc 中文翻译）AI 评分6767 Cactus Compute 发布 16.9 MB 端侧语音识别模型 Whistle
Cactus Compute 发布语音识别模型 Whistle，单文件 16.9 MB，可在 CPU 上无依赖运行，面向手机、可穿戴设备、机器人、智能家居、汽车和微控制器。
Hacker News：AI 热帖AI 评分6767 Liquid AI 发布开放权重决策模型 d1-3B 与 d1-omni-600M
Liquid AI 发布 d1 决策模型家族的两款开放权重模型 d1-3B 和 d1-omni-600M，已上线 Hugging Face。d1-3B 在 Decision Index v0.2.1 公开划分得 48.57，单次前向传播直接给答案，不生成 token；d1-omni-600M 为实验检查点，支持文本加图像或文本加音频，得分 15.95。
Hacker News：AI 热帖AI 评分4949 DeepSeek V4.1 Flash 实测：378 tok/s、99.7% 缓存命中率
RunInfra Model APIs 上线 DeepSeek V4.1 Flash，实测输出速度 378 output tokens per second、近 24 小时缓存命中率 99.7%，上下文窗口为 1,048,576 tokens。
Hacker News：AI 热帖AI 评分5454 Nvidia 支持的 Reflection 即将发布开放权重模型并推进 AI factory
Nvidia 支持的初创公司 Reflection 即将发布首个开放权重模型，目标是与中国顶级开放权重模型竞争，并为企业搭建低成本专有 AI 系统。
Hacker News：AI 热帖AI 评分3030 DeepSeek 开源其华为昇腾编程栈
DeepSeek 已开源面向华为昇腾的编程栈。该消息来自 Hacker News 热帖，原始链接页面仅显示 Cloudflare 安全验证，未提供更多技术细节。
NVIDIA Blog精选AI 评分7979 OpenAI GPT-6 Astra Ultrafast 已在 API 等渠道可用，NVIDIA Blackwell GPU 提供加速
OpenAI GPT-6 Astra Ultrafast 已在 OpenAI API 面向符合条件的 ChatGPT Work 和 Codex 用户提供，并运行在 NVIDIA Blackwell GPU 上。
推荐理由：文章说明了 GPT-6 Astra Ultrafast 的可用范围、相对 Astra Standard 的生成速度提升，以及 Blackwell GPU 推理优化对编码智能体循环的影响。
Hacker News：AI 热帖AI 评分6565 PSSA 发布：用 Rust 从零实现的 2.7B 参数非 Transformer 语言模型
PSSA 于 9 月 24 日发布，是一个 2.7B 参数、完全用 Rust 编写的非 Transformer 语言模型，代码和权重以 Apache-2.0 许可开源。
Hacker News：AI 热帖AI 评分5959 Coop 志愿者预训练小语言模型项目进入 Stage 2
Coop 正在由志愿者利用捐赠的消费级硬件、Hugging Face 免费层和 GitHub Actions 从零预训练约 145M 参数模型，当前 Stage 2 使用 FineWeb-Edu。
Hacker News：AI 热帖AI 评分5757 DeepSeek 发布 DeepGEMM Ascend，支持华为昇腾 950
DeepSeek 发布 DeepGEMM Ascend，将 DeepGEMM 移植到华为昇腾平台并支持 Ascend 950 设备。该库与 DeepGEMM API 完全兼容，支持 BF16、FP8、FP4 GEMM、MQA logits 和 MegaMoE，要求 CANN 9.20、torch_npu、Python 3.0 或更高版本。
Hugging Face BlogAI 评分5757 Liquid AI 发布 LFM2.5-VL-DSpark 实验性视觉语言草稿模型
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型，通过推测解码在不改变输出质量的前提下提升推理速度。草稿模型约 280M 参数，使部署参数量增加 8.9%；端侧解码最高加速 3.13x，H100 最高加速 2.66x，端到端最高提升分别为 2.62x 和 2.27x。
OpenAI NewsAI 评分4545 GPT-6 如何优化 prompt 缓存
GPT-6 改进了 prompt 缓存机制，带来更高的缓存命中率、新增诊断工具、显式断点以及相关控制能力。这些改进可降低延迟与成本。
AWS Machine Learning Blog精选AI 评分7676 OpenAI GPT-6 Sol 与 GPT-6 Luna 在 Amazon Bedrock 正式可用
OpenAI 的 GPT-6 Sol 和 GPT-6 Luna 已在 Amazon Bedrock 正式可用，API 价格显著低于各自的 GPT-5.6 前代模型。
推荐理由：文章说明了两款 GPT-6 模型在 Amazon Bedrock 的定位、成本差异和企业级数据控制，便于按任务复杂度选型。
Fireworks AI（网页）精选AI 评分7272 Fireworks 发布 DeepSeek-V4.1-Flash，DeepSWE 编码准确率接近 GPT-6 Astra 且单任务成本为 1/15
Fireworks 发布 DeepSeek-V4.1-Flash，并给出 DeepSWE、Terminal-Bench 2.1 与 HLE 评测。DeepSeek-V4.1-Flash 在 DeepSWE 上 Pass@1 为 74.34%，单任务成本 $0.430；GPT-6-Astra 为 74.12%、$6.524，二者质量接近而成本相差 15 倍。
推荐理由：文章用 DeepSWE、Terminal-Bench 2.1 和 HLE 对比成本与能力边界，并解释输入输出分离激活及 KV cache 优化。
Hugging Face Blog精选AI 评分6262 H Company 与 Hugging Face 发布多模态多语言编码器 NeoMME 及 NeoMME-Retriever
H Company 与 Hugging Face 发布 260M 和 800M 两种规格的 NeoMME 多模态多语言编码器，并用其微调得到视觉文档检索模型 NeoMME-Retriever。
推荐理由：文章给出单塔架构、ViDoRe v3 成绩、编码吞吐和索引压缩数据，便于评估其在视觉文档检索与视觉 RAG 中的工程取舍。
Hugging Face Blog精选AI 评分6060 Liquid AI 发布 LFM2.5-DSpark 草稿模型，LFM2.5 推理最高加速 3.18 倍
Liquid AI 发布面向 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 的 DSpark 草稿模型检查点，通过推测解码提升推理速度且不改变贪心解码输出。
推荐理由：文章给出三款草稿模型的参数规模、H100 与 M4 Max 实测加速及 llama.cpp、SGLang 接入方式，便于评估端侧和服务端部署收益。
Hugging Face Blog精选AI 评分7272 NVIDIA Magpie TTS Multilingual 发布开放权重版本，支持12种语言与自托管低延迟语音智能体
NVIDIA 在 Hugging Face 发布 Magpie TTS Multilingual 开放权重模型，参数规模364M，支持12种语言，并提供 NVIDIA NIM 生产推理容器。
推荐理由：文章给出12种语言、364M参数和多GPU延迟数据，可帮助评估自建低延迟语音智能体的部署方案。
Hugging Face Blog精选AI 评分8888 Thinking Machines 在 Hugging Face 发布开源多模态模型 Inkling 与 Inkling-Small
Thinking Machines 在 Hugging Face 发布开源多模态 LLM Inkling，并推出 Inkling-Small 及 NVFP4 等变体。
推荐理由：文章同时给出模型架构、量化部署配置和多框架支持，便于评估多模态推理模型的落地门槛。
Google Research精选AI 评分6666 Google 用冻结式 Multi-Token Prediction 加速 Pixel 上的 Gemini Nano v3
Google 宣布为已部署的冻结 Gemini Nano v3 模型加装轻量 MTP 头，并已在 Pixel 9 和 Pixel 10 系列推出，用于加速 AI Notification Summaries 和 Proofread。
推荐理由：文章解释了冻结 Gemini Nano v3 主干并加装 MTP 头的移动端加速方案，可帮助理解端侧 LLM 在内存和能耗约束下的工程取舍。
Mistral AI精选AI 评分7272 Mistral AI 发布 Codestral 25.08 与企业级完整编码技术栈
Mistral AI 发布 Codestral 25.08，并推出由 Codestral、Codestral Embed、Devstral 和 Mistral Code 组成的企业编码技术栈。
推荐理由：官方同时给出模型指标、配套检索与智能体组件及企业部署方式，便于评估私有化编码工作流的完整组合。
Mistral AI精选AI 评分6262 Mistral AI 发布 24B 区域语言模型 Mistral Saba
Mistral AI 发布区域语言模型 Mistral Saba，参数规模为 24B，使用中东和南亚精选数据集训练，支持阿拉伯语及多种印度起源语言，尤其擅长泰米尔语等南印度起源语言。Mistral Saba 已通过 API 提供，也可在客户本地安全环境部署，能在单 GPU 系统上运行，速度超过 150 tokens/s；官方称其响应比 5 倍以上规模的模型更准确相关，且更快、成本更低。
推荐理由：原文说明了区域语言模型的参数规模、语言覆盖、部署方式和速度，可帮助读者理解专用小模型与通用大模型的取舍。