跳到正文
原文
Hacker News:AI 热帖· everythingmeta·· 4 小时前AI 评分62

Parallel 评测 Jev 等决策模型在搜索相关任务上的表现

Testing Jev and other decision models on search-related tasks

AI 导读

Parallel 在搜索结果重排、页面变化分类、低质内容过滤和查询路由四类生产任务上测试 Jev 及多款决策模型。Jev 综合稳定性、成本和延迟表现最好,开源模型可在零样本质量上竞争,但自托管会增加运维复杂度。自动提示词调优在最难任务上最多带来约 10 个 AUPRC 点,Parallel 的小型微调重排器 top-K overlap 为 75.21,比最佳决策模型高 3.8 个百分点。

来源:Hacker News:AI 热帖 · parallel.ai