Hacker News:AI 热帖· everythingmeta·· 4 小时前AI 评分62
Parallel 评测 Jev 等决策模型在搜索相关任务上的表现
Testing Jev and other decision models on search-related tasks
AI 导读
Parallel 在搜索结果重排、页面变化分类、低质内容过滤和查询路由四类生产任务上测试 Jev 及多款决策模型。Jev 综合稳定性、成本和延迟表现最好,开源模型可在零样本质量上竞争,但自托管会增加运维复杂度。自动提示词调优在最难任务上最多带来约 10 个 AUPRC 点,Parallel 的小型微调重排器 top-K overlap 为 75.21,比最佳决策模型高 3.8 个百分点。
来源:Hacker News:AI 热帖 · parallel.ai