
把 SKILL.md 当训练资产,评估→改进→测试→保留或回滚,分数只升不降。
写在前面
Agent Skill 生态正在快速扩张。Claude Code、Codex、OpenClaw、Trae 都支持 SKILL.md,你有 10 个 Skills 时还能手写维护,到了 50+ 个就彻底失控了。
达尔文.skill(darwin-skill)想解决的就是这个问题:把 SKILL.md 当成一个可以被 ” 训练 ” 的资产,用自主实验循环评估质量、找出短板、针对性改进,只保留有实证改进的修改,退步则自动回滚。
这个思路的源头是 Andrej Karpathy 的 autoresearch(71k star),把 ” 让 AI 跑实验、自己评估结果、只保留改进 ” 的机制搬到了 Skill 优化领域。
一、它解决什么问题
| 维度 | 信息 |
|---|---|
| 项目 | darwin-skill(达尔文.skill) |
| 作者 | 花叔(@AlchainHust / alchaincyf) |
| 协议 | MIT |
| 平台 | Claude Code(跨生态 SKILL.md 格式) |
| 安装 | npx skills add alchaincyf/darwin-skill |
| v2.0 | 2026-05-28 正式发布,吸收微软 SkillLens + SkillOpt |
核心问题 :当 Skill 数量爆炸后,你不知道哪个 skill 结构完整但效果很差、哪个 frontmatter 不规范、哪个迭代了七八版还停留在第 3 版。达尔文给你一个数字:9 维评分,满分 100,每轮只升不降。
二、9 维度评估体系
v2.0 的评分矩阵吸收了微软 SkillLens 论文(arXiv:2605.23899)的实证结果,满分 100 分。
| 维度 | 说明 |
|---|---|
| 结构完整性 | SKILL.md 格式规范、目录结构完整 |
| 可执行具体性 | 禁用 ” 建议 / 可以考虑 / 灵活把握 ” 等模糊词 |
| 失败模式编码 | 已知失败路径显式编码,而非简单叮嘱 |
| 高风险行动黑名单 | rm / git reset –hard / force push 必须列禁 |
| 示例覆盖度 | 是否含可复现的示例和边界案例 |
| 上下文充分性 | 是否提供足够的背景、前提和约束 |
| 工具集成度 | scripts/、references/、assets/ 的利用程度 |
| 测试可验证性 | 是否有 test-prompts.json 和验证机制 |
| 实际效果分 | 实测跑测试提示词的输出得分 (权重最高) |
v2.0 三个新维度直接来自 SkillLens 论文 73.8% rubric:失败模式编码 / 可执行具体性 / 高风险行动黑名单。
三、棘轮机制:只保留改进,自动回滚
优化循环 5 个阶段:
基线评估 → 了解当前短板
针对性改进 → 每轮只改一个维度,变量可控
验证与测试 → 跑 test-prompts.json 看实际效果
保留或回滚 → 新分 > 旧分则 git commit,否则 git revert
人在回路 → 关键节点暂停,等用户确认再继续
git ratchet 是灵魂 :分数只升不降。如果一轮优化导致分数下降,系统自动执行 git revert 到上一个稳定版本,不会积累局部退化。
独立评分 :每轮启动 2 个独立子 agent 打分,下一轮换全新评委,避免 ” 自己改自己评 ” 的偏差(SkillLens 实证:LLM 自评准确率仅 46.4%)。
反例黑名单 8 条 :同一个 AI 又改又评 / 用 git reset –hard 当回滚 / 为凑分堆冗余 / 跳过测试提示词直接评分 / 一轮内改多个维度 / 干跑比例 > 30% / 静默跳过异常 / 忽视维度相关簇。
四、人在回路:与 SkillOpt 的本质区别
微软 SkillOpt 是全自主系统。达尔文.skill 做了三个强制暂停点:Phase 1 基线评估后人工审报告 / Phase 2 单维度优化后 CHECKPOINT 暂停 / Phase 3 回归测试 STOP 强制停手。
理由很实在:Skill 的好坏比 validation loss 更微妙,需要人的判断。
双向背书 :2026-06-03,微软 SkillOpt 官方仓库把 darwin-skill 写进了集成名单,一次双向致意。
五、实测数据
| Skill | 优化前 | 最终 | 提升 |
|---|---|---|---|
| huashu-gpt-image | 80.8 | 91.65 | +10.85(6 评委共识) |
| darwin-skill 自评 | 86.05 | 92.7 | +6.65 |
38 次 git commit 的优化记录均在仓库里,每轮改进都可归因、可回滚。
六、快速开始
# 一键安装
npx skills add alchaincyf/darwin-skill
# 在任何支持 SKILL.md 的 Agent 工具中说:# " 优化所有 skills" 或 " 优化某个 skill"
七、对比:skill-creator vs darwin-skill
| 能力 | skill-creator(Anthropic) | darwin-skill(花叔) |
|---|---|---|
| 定位 | 从 0 到 1 创建 Skill | 让已有 Skill 越用越好 |
| 机制 | 模板 + 引导 | 评估→改进→测试→棘轮 |
| 评分 | 结构检查 | 9 维 + 实测效果(100 分制) |
| 回滚 | 无 | git ratchet,只升不降 |
| 人在回路 | 无 | 三层强制暂停 |
| 学术基础 | Anthropic 实践 | SkillLens + SkillOpt + autoresearch |
两者互补:skill-creator 解决 ” 怎么从零创建 ”,darwin-skill 解决 ” 怎么持续进化 ”。
八、风险与坑
- 强依赖 LLM 自评 :即使有独立评委,打分本身还是 LLM 判断,存在基准漂移风险
- 微软论文还很新 :SkillLens / SkillOpt 都是 2026-05 发布的,长期效果待验证
- 人在回路 = 半自动 :每轮需要人工确认,大规模 Skill 库(60+)的优化效率有限
- 工具绑定 Claude Code:目前主要围绕 Claude Code 生态,其他平台适配依赖 SKILL.md 格式兼容性
九、总结
达尔文.skill 最值得装的三个理由:
- 棘轮机制 :分数只升不降,演进路径可追溯
- 独立评分 :用子 agent 打分,避免 LLM 自评 46% 准确率的坑
- 吸收最新研究 :v2.0 对齐微软 SkillLens 73.8% rubric + SkillOpt validation-gated 框架
如果你的 SKILL.md 数量在 10+,且部分 skill 已经迭代到 3 版以上但效果难评估——先跑一轮基线评分,数字会告诉你哪个维度最需要补。