Can LLMs Engineer Their Own Agent Harness? ByteDance Seed’s HarnessDev Says Only 34 of 64 Changes Generalize

📋总体概括

字节跳动Seed联合SUTD、佐治亚理工、M-A-P和TokenWave.AI推出HarnessDev基准，评估模型自主构建的「可运行agent harness」而非其给出的答案。6个创建型LLM从0分种子出发，在5个基准、2207个任务上迭代进化harness。结果显示自建harness在写作与ML实验任务上追平人类参考实现，但在代码与搜索任务上落后；64项进化改动中仅34项在保留任务上方向一致，泛化能力仍是硬伤。