AI Agent社区与认知

创新是体力活:一场把"出点子"交给 AI 的对照实验

1999 年,以色列的一组市场营销研究者做了一件在当时看起来离经叛道的事:他们把一种创意方法写成计算机程序,让程序生成广告创意,再请职业评审做盲评。评审不知道哪些创意来自程序。结果是,程序生成的创意得分和职业广告人持平,压过了未受训练的普通人。

这个实验比大语言模型早了二十多年。它指向一个和直觉相反的判断:创意生成的核心环节可以按程序走,而程序不挑执行者。当年缺的只是一台足够通用的执行机器。现在这台机器有了。所以我们做了一个实验:把创新方法整理成 AI 能执行的操作手册,让同一个模型分别在”有手册”和”没手册”两种条件下回答同一个问题,对比产出。手册和完整实验记录开源在 GitHub 上。这个题目起于和翻盖鲨鱼的一次讨论,先在这里致谢。这篇文章讲三件事:为什么创新是有程序的体力活,为什么裸的 AI 干不好这个体力活,以及对照实验里看到了什么。

灵感神话在数据面前站不住

我们对创新的默认想象是灵光一现:牛顿的苹果,阿基米德的浴缸。但认真翻学术记录,会发现两个反复出现的结论。

第一个结论:头脑风暴没用。这不是俏皮话,是创造力研究里复制次数最多的发现之一。1987 年 Diehl 和 Stroebe 的经典实验,以及 1991 年一项覆盖 38 个实验的元分析给出了一致的方向:让同样多的人各自独立想点子再汇总(研究者称之为名义小组),产出比围坐一起头脑风暴多出约 83%。围坐的坏处有明确机制:轮流发言堵塞思路,怕人评价让人自我审查,还有人搭便车。《Think Bigger》的作者、哥伦比亚商学院的 Sheena Iyengar 给这套证据下的判词干脆利落:“证据毫不含糊,头脑风暴不管用。”

第二个结论:成功的创新在事后看几乎都是旧零件的新组合。经济学家熊彼特在 1912 年就把创新定义为”生产要素的新组合”;数学家庞加莱说发明就是辨别和选择;Iyengar 把它压缩成一句定义:创新是旧想法的一次新颖、有用的组合,用来解决一个具体问题。自由女神像可以拆出五个来源,Google 的核心是三个借来的零件:爬虫、图书馆的引文排名、别家发明的侧栏广告。

这两个结论拼在一起,创新的形象就变了:它没那么像写诗,更像装配。这个转变我们并不陌生,去年在《一千次失败之后,它选中了你看到的那一个》里,我们把 AI 时代的创意描述为从写诗到建温室:不再依赖灵感,而是搭一个能持续生成、验证、筛选变体的系统。这篇文章讲的是同一个判断在方法论层面的版本。装配就有工序,学术界确实把工序写出来了,还写得相当细。

以色列学派的 SIT(系统性创新思维)给出五个固定模板:拿到一个现有产品,先拆成组件和属性,再按固定的算子序列做结构变换,比如去掉一个核心组件但保留它的功能,让环境里现成的东西顶上(车载收音机去掉天线,除霜器的金属网接管信号)。变换完了再问”这个新形态对谁有用”。顺序是硬性的:先变形,后找用途。对照实验显示这个顺序本身就有效果,三组任务里先形后用的创意评分都显著更高。而文章开头那个 1999 年的程序,跑的正是五个模板里的一个。

Iyengar 的 Think Bigger 则从问题端出发,六个步骤配着硬性数字:把问题拆成最多 5 个子问题;给每个子问题找 5 个已被验证的解法零件,其中至少 3 个来自行业之外;组合的时候除了刻意搭配,还必须做至少 5 轮随机抽取;什么时候停手也有规则,新找到的东西开始重复了就停。每个零件必须挂一个真实存在过的先例,说不出先例的只能算观点,不许上桌。

注意这些规则的质感:数量下限、固定顺序、停止条件、准入门槛。这是操作规程的质感,是 SOP。创新方法论的两大流派殊途同归地告诉你:出点子这件事的大部分环节,靠的是纪律而非天分。它是体力活。

创新的两种想象:左边是等待灵感降临的诗人,右边是把已有零件按工序组装成新产品的装配线

体力活可以外包,但要带上操作手册

一旦承认创新的主体是体力活,下一步推论就自然了:体力活可以交给 AI。拆解产品结构、跨行业检索先例、按模板做变换、批量组合再筛选,这些恰好都是大模型加上搜索工具的舒适区。跨域检索甚至是人类执行这套方法时最痛苦的一步:Think Bigger 要求你为每个子问题滚雪球式地访谈近三十个人,而模型几分钟就能扫完几个行业的公开先例。方法论的作者们自己也走到了这一步,哥伦比亚商学院的高管课程已经配上了官方的 AI 版工具。

但直接把问题丢给 AI,得到的通常不是这个。它会顺着”帮我创新”的措辞给出流畅、合理、似曾相识的东西,多半是一份漂亮的趋势综述。下一节的实验里正好有一份实物。

写到这里得处理一个显而易见的疑问:我们说的手册,说到底也是一段文字,最终同样塞进模型的上下文。那它和在聊天框里打一句”请用 SIT 和 Think Bigger 帮我分析”,有什么本质区别?区别不在通道,在方法论以什么形态在场。只报方法名字时,模型调用的是参数记忆里那个平均化的版本:它大概记得 SIT 有五个模板,但想不起”每个子问题五个零件、至少三个来自域外”这样的配额,更不会自己发明”即使已经有了满意答案,也必须再做五轮随机组合”这种反直觉的强制动作。而承重的恰恰是这些细节。手册做的事有两件:把规程全文放进上下文,让模型照着全文而非印象执行;把每条规则写成可自查的验收标准,数量下限、准入门槛、停止条件、风险标签,让走样变得看得见。所以坦白说,这份 skill 就是一份写得足够完备的 prompt。这不算漏洞,恰恰是论点本身:差距不来自魔法,来自规程在场的完备程度。

还有一部分规则,光把文字放进上下文也执行不了,需要执行环境配合。“每个零件必须挂具名先例”要靠真实的网络搜索核实,防的是模型现编一个像模像样的先例;“随机组合轮”要靠程序随机数,因为让模型在心里随机选,它会挑自己顺眼的。执行这次实验的 agent 对第二条深有体会:它主动改用了带种子的随机数生成器,还建议把这一条写进手册的硬性要求。现在它是了。这些是聊天框给不了的部分:工具、时长,和一个不会顺着你临场反应走偏的预先承诺。

成品是一份纯 Markdown 的 skill:一个路由层判断该走哪套方法(改进现有产品走 SIT,开放问题走 Think Bigger,范式级问题两个都不该用,直接说”这工具不适用”),两条方法管线承载规程和校验器,外加十条判断公理解释每条规则为什么存在,防止未来的执行者自作聪明地把承重结构”优化”掉。

同一个模型,跑两遍

检验的方式是对照实验。问题用一个真实的:现在的 AI 界面还有哪些创新的可能。输入材料是我们几天前发的一篇文章《聊天框的幻觉》,它论证聊天框是给 AI Agent 做错的界面,应该换成邮件式的异步交互。两个 agent 用同一个模型(Claude Opus)、同样的工具权限(都能上网搜索)、同样的输入材料,唯一的区别是一个加载了这份 skill,一个没有。两份报告和第三方评估都在 实验目录 里,可以自己读。

先说基线组,它比我们预想的强。没有 skill 的 Opus 交出了一份质量相当高的行业综述:四个正在竞争的界面范式、每个赛道的代表产品、清醒的反方观点,甚至对输入文章提出了三条中肯的批评。如果你想了解这个赛道,这份报告比多数付费研报好读。

但看它给出的”创新方向”,形状就出来了:做 Agent 收件箱、做生成式 UI、做 Agent 邮箱基础设施。每一条都是”加入某个已经启动的趋势”。方向没错,可这回答的是”该往哪押注”,没有回答”还有什么别人没做的”。有意思的是,按照 skill 里编码的实证研究,这类跟随趋势的点子恰恰是历史记录里失败率最高的一类。

带 skill 的那份报告是另一种产物。它把问题拆成五个子问题,为每个子问题各找了五个带具名先例的解法零件,二十五个零件里十五个来自 AI 行业之外:军队的任务式指挥、财务审计的抽样标准、医院的中央遥测监护站、丰田的安灯拉绳、餐厅后厨的出菜口。最后胜出的点子叫”信任梯子”:每个 Agent 在每类任务上持有一个信誉分,分数从人工验收的真实记录里累积(零件来自 eBay 的评价体系),信誉分映射到明确的自主权等级(零件来自自动驾驶的 SAE 分级),等级反过来决定审查深度,分数高的抽查、分数低的逐行看(零件来自银行风控的阈值分流)。这个组合是被规则逼出来的:承重的那条连线出现在强制的随机组合轮里,刻意搭配的轮次里它从未出现。

两份报告有一处趋同,这处趋同本身有信息量:两个 agent 独立发现文章押注的邮件赛道已经拥挤,也独立指向了同一个空白,也就是”信任”至今没有被做成界面元素。所有工具都在展示 Agent 的状态,没有工具展示”你该信它到什么程度”。一条结论被两条独立路径命中,它是真空白的概率就大了不少。

对照实验的两条路径:同一个模型,左边自由发挥产出趋势综述,右边按 skill 的工序产出带推导链的候选点子

差异还体现在诚实度的形态上。带 skill 的报告给自己的六个点子打了保守分,把其中两个明确标为高风险,理由直接引用实证记录:一个太像跟随趋势,一个的整合层找不到任何先例。每个点子附完整推导链,你不同意其中某个假设,可以只推翻那一环重跑,不必整篇推倒。当然,代价也是真的:流程开销大约两倍,报告更长,而且这次评估是我们自己做的、非盲评、样本量只有一对,这些局限都写在实验记录里。

人留下什么

这套分工里有几件事 AI 干不了,方法论自己就把它们标出来了。选哪个问题,取决于你对它有没有持续的热情,这只有你自己知道;你希望解法给你什么感受、你想取悦谁,这是口味;最后把点子讲给真人听、观察对方脑子里成的像,这一步没有任何模拟能替代。skill 把这些节点设计成向用户提问,而不是替用户回答。

所以这个实验的结论不是 AI 会替你创新。更准确的说法是:创新这件事里原来被当作天分的那一大块,其实是可以写成工序的体力活;工序交给机器之后,人剩下的部分反而更清楚了,也就是选题、口味和最终拍板。1999 年那个程序证明过一次这件事,只是当年没人有一台通用执行机器来把它变成日常。

方法有边界,也照实说。那个常被引用的数字,七成成功产品能对上五个模板,是对既成事实的回溯归类,样本还偏向专利和实体消费品,它不构成”照做就会成功”的承诺。这套方法擅长的是组合式创新和产品改进,遇到”这个品类还该不该存在”的范式问题,正确的输出是承认不适用。还有一层要警惕:方法论用久了自己也会变成思维定式,所以 skill 的路由层里,“两套都不用”是一个正式出口。

手册、公理、实验的全部原始记录在这里:github.com/grapeot/innovation-assistant-skill。它是纯 Markdown,没有依赖,把 repo 地址交给你的 coding agent 就能装。欢迎拿你自己的问题跑一遍,尤其欢迎跑出反例。

最后再次感谢翻盖鲨鱼:没有那次讨论,就没有这篇文章和这个实验。

鸭哥每日手记

日更的深度AI新闻和分析