darwin-skill 调研:像训练模型一样进化你的 Agent Skill,受 Karpathy autoresearch 启发的”棘轮”系统

49次阅读
darwin-skill 调研:像训练模型一样进化你的 Agent Skill,受 Karpathy autoresearch 启发的

把 SKILL.md 当训练资产,评估→改进→测试→保留或回滚,分数只升不降。

写在前面

Agent Skill 生态正在快速扩张。Claude Code、Codex、OpenClaw、Trae 都支持 SKILL.md,你有 10 个 Skills 时还能手写维护,到了 50+ 个就彻底失控了。

达尔文.skill(darwin-skill)想解决的就是这个问题:把 SKILL.md 当成一个可以被 ” 训练 ” 的资产,用自主实验循环评估质量、找出短板、针对性改进,只保留有实证改进的修改,退步则自动回滚。

这个思路的源头是 Andrej Karpathy 的 autoresearch(71k star),把 ” 让 AI 跑实验、自己评估结果、只保留改进 ” 的机制搬到了 Skill 优化领域。

一、它解决什么问题

维度 信息
项目 darwin-skill(达尔文.skill)
作者 花叔(@AlchainHust / alchaincyf)
协议 MIT
平台 Claude Code(跨生态 SKILL.md 格式)
安装 npx skills add alchaincyf/darwin-skill
v2.0 2026-05-28 正式发布,吸收微软 SkillLens + SkillOpt

核心问题 :当 Skill 数量爆炸后,你不知道哪个 skill 结构完整但效果很差、哪个 frontmatter 不规范、哪个迭代了七八版还停留在第 3 版。达尔文给你一个数字:9 维评分,满分 100,每轮只升不降。

二、9 维度评估体系

v2.0 的评分矩阵吸收了微软 SkillLens 论文(arXiv:2605.23899)的实证结果,满分 100 分。

维度 说明
结构完整性 SKILL.md 格式规范、目录结构完整
可执行具体性 禁用 ” 建议 / 可以考虑 / 灵活把握 ” 等模糊词
失败模式编码 已知失败路径显式编码,而非简单叮嘱
高风险行动黑名单 rm / git reset –hard / force push 必须列禁
示例覆盖度 是否含可复现的示例和边界案例
上下文充分性 是否提供足够的背景、前提和约束
工具集成度 scripts/、references/、assets/ 的利用程度
测试可验证性 是否有 test-prompts.json 和验证机制
实际效果分 实测跑测试提示词的输出得分 (权重最高)

v2.0 三个新维度直接来自 SkillLens 论文 73.8% rubric:失败模式编码 / 可执行具体性 / 高风险行动黑名单。

三、棘轮机制:只保留改进,自动回滚

优化循环 5 个阶段:

 基线评估  →  了解当前短板
针对性改进  →  每轮只改一个维度,变量可控
验证与测试  →  跑 test-prompts.json 看实际效果
保留或回滚  →  新分 > 旧分则 git commit,否则 git revert
人在回路  →  关键节点暂停,等用户确认再继续 

git ratchet 是灵魂 :分数只升不降。如果一轮优化导致分数下降,系统自动执行 git revert 到上一个稳定版本,不会积累局部退化。

独立评分 :每轮启动 2 个独立子 agent 打分,下一轮换全新评委,避免 ” 自己改自己评 ” 的偏差(SkillLens 实证:LLM 自评准确率仅 46.4%)。

反例黑名单 8 条 :同一个 AI 又改又评 / 用 git reset –hard 当回滚 / 为凑分堆冗余 / 跳过测试提示词直接评分 / 一轮内改多个维度 / 干跑比例 > 30% / 静默跳过异常 / 忽视维度相关簇。

四、人在回路:与 SkillOpt 的本质区别

微软 SkillOpt 是全自主系统。达尔文.skill 做了三个强制暂停点:Phase 1 基线评估后人工审报告 / Phase 2 单维度优化后 CHECKPOINT 暂停 / Phase 3 回归测试 STOP 强制停手。

理由很实在:Skill 的好坏比 validation loss 更微妙,需要人的判断。

双向背书 :2026-06-03,微软 SkillOpt 官方仓库把 darwin-skill 写进了集成名单,一次双向致意。

五、实测数据

Skill 优化前 最终 提升
huashu-gpt-image 80.8 91.65 +10.85(6 评委共识)
darwin-skill 自评 86.05 92.7 +6.65

38 次 git commit 的优化记录均在仓库里,每轮改进都可归因、可回滚。

六、快速开始

# 一键安装
npx skills add alchaincyf/darwin-skill

# 在任何支持 SKILL.md 的 Agent 工具中说:# " 优化所有 skills" 或 " 优化某个 skill"

七、对比:skill-creator vs darwin-skill

能力 skill-creator(Anthropic) darwin-skill(花叔)
定位 从 0 到 1 创建 Skill 让已有 Skill 越用越好
机制 模板 + 引导 评估→改进→测试→棘轮
评分 结构检查 9 维 + 实测效果(100 分制)
回滚 git ratchet,只升不降
人在回路 三层强制暂停
学术基础 Anthropic 实践 SkillLens + SkillOpt + autoresearch

两者互补:skill-creator 解决 ” 怎么从零创建 ”,darwin-skill 解决 ” 怎么持续进化 ”。

八、风险与坑

  1. 强依赖 LLM 自评 :即使有独立评委,打分本身还是 LLM 判断,存在基准漂移风险
  2. 微软论文还很新 :SkillLens / SkillOpt 都是 2026-05 发布的,长期效果待验证
  3. 人在回路 = 半自动 :每轮需要人工确认,大规模 Skill 库(60+)的优化效率有限
  4. 工具绑定 Claude Code:目前主要围绕 Claude Code 生态,其他平台适配依赖 SKILL.md 格式兼容性

九、总结

达尔文.skill 最值得装的三个理由:

  1. 棘轮机制 :分数只升不降,演进路径可追溯
  2. 独立评分 :用子 agent 打分,避免 LLM 自评 46% 准确率的坑
  3. 吸收最新研究 :v2.0 对齐微软 SkillLens 73.8% rubric + SkillOpt validation-gated 框架

如果你的 SKILL.md 数量在 10+,且部分 skill 已经迭代到 3 版以上但效果难评估——先跑一轮基线评分,数字会告诉你哪个维度最需要补。


参考

正文完