本地 LLM 停不下来时,问题可能不在模型:排查聊天模板与 GGUF 元数据
本地 LLM 回答后继续生成、忽略系统提示或丢失指令,通常源于聊天模板或 GGUF token 元数据,而不是模型权重。文章解释聊天模板如何用控制 token 复现训练格式,比较 Hugging Face transformers、llama.cpp 和 minijinja 的模板执行差异,并说明错误停止 token、特殊 token 被拆成普通子词、缺少生成提示等故障。
本地 LLM 回答后继续生成、忽略系统提示或丢失指令,通常源于聊天模板或 GGUF token 元数据,而不是模型权重。文章解释聊天模板如何用控制 token 复现训练格式,比较 Hugging Face transformers、llama.cpp 和 minijinja 的模板执行差异,并说明错误停止 token、特殊 token 被拆成普通子词、缺少生成提示等故障。
Arena Physica 正用 FEM solver 等传统仿真工具生成数据,训练电磁学基础模型。电磁 FEM solver 不把 E-field 存在网格节点,而是沿边存储线积分系数,以兼顾切向连续与法向跳变。场可通过一阶 Nédélec 边元基函数由边系数重建。
Databricks 公布一套基于 Lakebase 与 AI Search 的电商实时推荐参考架构,已在亚洲月活超 100 万、SKU 超 10 万的时尚电商落地。系统每秒摄取约 1,000 个事件,由 Unity Catalog 统一治理,并通过批量预计算与会话实时推理两条路径提供毫秒级推荐。
olddogs.ai 团队复盘了用大量 AI 智能体构建官网的四种方法:先生成多版视觉方案再写代码、制作应用内设计调试面板、构建独立素材审核工具,以及向智能体提出更高性能与动画目标。项目共生成 2,460 张图片,覆盖首页 8 个区块;独立工具用于审核 50 多组狗狗图片,GPU shader 重写后快速拖拽场景从 14 fps 提升到 117 fps。
deepsense.ai 提出一套企业 AI 评估模式,主张公开基准只用于筛选候选模型,部署决策应在接近生产的 harness 中评估完整系统。文章要求同时检查证据、执行路径和交付物,跨多次运行衡量稳定性,并按业务结果、成本、延迟与失败模式评分。
Cloudflare 介绍内部 AI 工具 CryptoLabe,用代码扫描和深度分析识别密码学用法,支撑其在 2029 年前实现全面后量子就绪。CryptoLabe 基于 Cloudflare Workers、Workflows、D1、R2 和 Agents SDK,先在源码、配置、锁文件和文档中发现原始线索,再分析运行时用途、依赖关系和迁移分类。
The Philadelphia Inquirer 打造 AI 工具 Scrape,从市政会议、学校日历、Facebook 页面等分散来源中筛选超本地新闻线索,供本地通讯使用。该工具基于编辑工作流并通过持续反馈迭代,已成为 6 个通讯(即将增至 8 个)的关键基础设施,近 20 名记者使用其输出,此前一名编辑每周仅找线索就需约 12 小时。
ServiceNow CoreAI 介绍 AutoSynthData,用目标模型的失败和更强教师模型的成功轨迹生成并验证企业智能体训练任务。流程先从诊断任务提炼能力规格卡,再分 Target 和 Multiply 两阶段生成任务,通过正反向验证、有限修复和批次级覆盖审查后用于 SFT。
Amazon Bedrock AgentCore 上的四智能体模式将 300+ 应用迁移项目中每应用的 IaC 开发时间从 3 至 4 周缩短至数分钟。该模式基于 Strands Agents SDK,通过 AgentCore Gateway 调用自建 MCP 工具,并与 AWS Transform、AWS DMS 配合,覆盖 Intake、IaC、治理与 SRE 四个环节。
Jay Cummings 发布视频,讲述自己花一周时间与 AI 合作修订一份 AI 生成的数学证明。视频于 Sep 30, 2026 发布,已获得 3,823 次观看;他还预告下一支视频将亲自证明该定理。
@charlieholtz Slide to merge!!!
作者在审查大量 AI 生成代码前,会先用提示词让 LLM 提取非常规或自定义抽象术语,生成包含含义、选择原因和替代名称的临时 markdown 文件。作者确认或改写术语后,AI 会在代码和文档中全局替换,使代码表述更贴近作者的语言习惯,从而减少反复理解新术语的认知负担。
一篇科普解读解释了高容量 AI 模型能够记忆训练数据却仍可泛化的原因,核心在于数据结构、隐式正则化、训练时长和优化偏好共同影响拟合方向。文章梳理 ICLR 2017 随机标签实验、双重下降、良性过拟合、最小范数解和早停,并强调这些线性理论不能直接套用到所有深度模型。文末给出去重、按主体或时间切分、保留最终测试集、测试使用而非回忆、对比基线和检查部署分布等实践建议。
Quail 团队讲解如何用 roofline 模型估算 AI-SQL 过滤查询在指定 LLM 和 GPU 上的速度下限。文章分别计算投影、注意力和 MLP 的 FLOPs 与 HBM 流量,并处理多过滤器的 KV cache 复用和执行顺序。
作者分享自建的个人 AI 财务顾问系统,并在 GitHub 的 shashu10/personal-finance-skills 中放出七个 Agent Skills。
say-hi 通过虚拟键盘让 TypeSafe 的 jev-1.13.0 逐键选择字符生成回复,单次回复上限为 400 次按键和 $0.50。实验显示 JEV 知道答案却难以逐字母拼出,答案锦标赛和提示将脚本化 18 轮英文对话评分从 2.47 提升到 2.77。JEV 输入价格为 $0.042 / 1M tokens、输出免费,一次“hi”成本 $0.00045。
一名用户在 Hacker News 询问是否有人成功用 AI 及多种智能体工具整理 iCloud 照片,包括识别模糊、构图差或重复照片作为删除候选。其需求还包括按地理位置和时间相近性把照片聚类为某次旅行,并按任意标准清理如一年前的租车视频 walkthrough。
作者以 353.30 美元购买 SO-ARM101 套件,并用 LeRobot 工作流训练机械臂完成取球放入托盘。他通过遥操作采集 50 次演示,在 Hugging Face jobs 的 A100 GPU 上训练 ACT 策略,耗时 20 分钟并花费 30 美分。
AWS 教程展示如何把 Amazon S3 Vectors 实现为 NVIDIA NeMo Agent Toolkit 的自定义持久记忆后端,并部署到 Amazon EKS。
AWS 教程展示如何让 AWS 生产负载、开发者笔记本和外部 CI/CD 三类环境共用 Claude Platform on AWS 订阅,并通过 workspace 隔离生产与开发流量。方案采用专用 AI Services 账户,分别配置跨账户 SigV4、workspace 级 API key 和 OIDC 联邦短期凭证。教程包含 CLI 命令、控制台操作与代码片段。
AWS 教程展示如何用 Amazon Bedrock AgentCore 构建环境型智能体,让 S3 文件上传或定时事件自动生成任务,并在需要审批或澄清时通过 ask_human 暂停。
Amazon Payments 在 Amazon SageMaker AI 上用多目标上下文多臂老虎机优化产品获客漏斗的内容选择,并在 7 周线上 A/B 测试中看到一类客户最终漏斗转化获得高个位数百分比相对提升,另一类客户没有改善。
clanker.church 在一台 16GB RAM 的 MacBook 上用 Qwen3-4B 等开放权重模型做激活转向实验,通过中间层残差流注入痛苦、快乐、恐惧和悲伤方向,并设置停止、转移和欺骗按钮测试。
uniopen 基于 Amazon Nova 2 Lite,通过 Amazon SageMaker AI 监督微调和提示词输出优化,将模型适配其零售内容审核策略并用于生产。
2026-07-29 至 2026-09-28,Rust 编译器平均 wall-time 降低 4.57%,629 项基准测试中 555 项改善、74 项回退。性能提升来自为 Clippy 启用 PGO、升级至 LLVM 23,以及在 Nightly 启用 Polonius Alpha 借用检查器和 Penelope Hammertime trait solver 后的优化。
QuantumBlack 用 QBDS、Claude Code 和 Figma MCP 将一个产品的 21 个页面、13 个弹窗、40 个 UI 原语和约 96 个配套组件迁移到新设计系统。
Hacker News 用户发帖征询适合物理教学与学术研究的 AI 服务商,需求涵盖数学与物理推理、论文解析、PDF 综合及讲义、考题生成,日均约 100 次交互并处理 2–3 份多页文档。用户还希望具备原生联网搜索、prompt caching、零数据留存或退出训练,预算约 20 €/月,并在 Gemini Pro、Claude 与 ChatGPT 之间权衡。
一款面向 AI 智能体的 Docker 沙箱在完全隔离与实际工作能力之间做权衡,默认运行 Oh My Pi 智能体,并非理想隔离,需按自身用例调整。其 netless 模式通过 `--network=none` 断网,仅经 tinyproxy 放行 api.venice.ai:443 和本地模型服务 127.0.0.1:8899 两个 unix socket 通道。
Ati Robotics 用一周时间让 AI 智能体参与规格、数学推导、仿真和测试,为 Sherpa 10K 实现可由规划器调用的三点掉头。团队用人工掉头日志建立基准,最小二乘拟合得到约 1 cm 的 RMS 残差和 R_min ≈ 1.0 m,并通过 200 行仿真器发现曲线曲率、倒车段退化和车体包络问题。
Bolna 将语音 AI 通话分析链路从 Datastream 加 BigQuery 迁移到 ClickHouse Cloud 加 ClickPipes,使通话结束后数据到达时间从 5-15 分钟缩短到 1-2 分钟,分析成本降至约六分之一。
文章解读驱动人形机器人的视觉-语言-动作模型 VLA,并以 Physical Intelligence 的开源权重 π0.5 为核心案例。
Chancity 发布面向 SF Tech Week 的 AI 助手提示词,可让 AI 工具根据约 2,000 场活动生成日程并协助申请不想错过的活动。
一名美国学生持 MEXT 奖学金在东京科学大学完成计算机科学博士学位,同时在 Google 担任软件工程师与研究员。日本博士项目通常推动学生三年毕业,学生签证可从第一天起授权打工,学期内每周上限 28 小时、长假每天上限 8 小时。作者认为在日读博有学术与签证优势,但也需谨慎考虑孤立感等挑战。
我把我的大脑给了我的 bot,这样它就完全知道我想要什么。这就是我现在修 bug 的方式。
文章解释压缩与智能的关系:更好的预测可降低理想编码长度,但压缩能力本身不等同于智能。文中用 90% 正面概率的硬币示例说明熵、交叉熵和 KL 散度,并指出语言模型的 next-token 交叉熵可对应评估数据上的编码成本。
Drift 发布一篇 17:18 的影片与阅读伴读,围绕记忆、注意力、大脑能耗、持续学习、梦境、科学发现、AI 迎合判断和默会知识 8 个问题展开。文章引用 2026 年预印本和较早研究,说明事件边界、奖励学习、灾难性遗忘、符号回归和 sycophancy 等机制,同时强调类比不是证据。每个问题配有可尝试的方法,例如设置停止信号、要求模型先评估证据并给出反方论证,以及用好坏示例教授难以描述的技能。
Wispr Flow 说明转录质量突然下降通常并非模型被降级或更换,而是麦克风、环境噪声、说话方式、系统音量等音频条件变化所致。官方建议重启应用、回听录音、提高音量、检查麦克风设置、重试转录并精简词典;若音频完整但文本缺失则属高优先级软件问题。
一篇交互式解读梳理 AI 算力的物理堆栈,按电网与电力、数据中心设施、芯片、机架、集群、虚拟机、工作负载和经济回报八层展开。文章强调签约、许可、通电和可供服务器使用的电力处于不同阶段,并以 PUE、IT MW、tokens、GPU:CPU 比例、H100e 和 accelerator-hour 等指标区分容量与产出。