800人实测:AI给你的烂方案,比最优解更值钱
        上个月刚充了 ChatGPT Plus,这个月又买了了 Cursor Pro,OpenClaw 也研究的差不多了。

        我们对 AI 的期待,说起来非常简单:给最好的方案、最准确的代码、最精确的回答。

        然后我们再用输出质量来评判一个 AI 值不值得续费。

        但为什么总觉得 AI 不够好用呢?Swansea 大学一项迄今最大规模的人机协作创意实验刚刚告诉你:你对 AI 的期待从根上就是错的。

         800 个人设计了一辆虚拟汽车这不是问卷调查,是一个真正的设计任务。

        研究者开发了一个叫「Genetic Car Designer」的在线工具,放在游戏平台 itch,让参与者设计一辆二维汽车,目标很简单:在 30 秒内跑得越远越好。

        车身由多边形顶点定义,轮子有位置、半径、质量、转速和悬挂频率五个自由度。

        最简单的配置有 9 个可调参数,最复杂的可以到 85 个。

        系统有两种 AI 建议模式。一种是 MAP-Elites 算法驱动的方案,按速度、轮径、几何形状三个维度,展示一系列多样化的设计方案。

        这些方案里有高性能的、有奇怪的,也有明显跑不远的。

        另一种是随机历史记录,什么设计都有,毫无章法,充当对照组。

        参与者可以自由选择看不看这些建议,用不用它们。没有强制流程,没有规定时间,随时可以退出。

        实验设计的精妙之处在于:它不告诉你 AI 在帮你,只是把方案摆在那里,看你怎么反应。

        808 个有效 session 里,50%的参与者完全是被动的。

        打开工具后就让算法自己跑,全程不参与。36%只用了设计编辑器,手动调参数。

        只有 14%打开了 AI 方案并且与之互动。但这 14%的人,产出了最好的设计。

        看到「烂设计」的人,反而做得更好数据很清楚。看过至少一个 AI 方案的人,平均在任务上花了 22.5 分钟,是没看过方案的人(9.4 分钟)的 2.4 倍。

        设计质量提升幅度达到 373%,将近没看方案的人(197%)的两倍。

        主动跟方案互动、选取设计反馈给算法的人,提升更是高达 420%,是纯被动参与者(124%)的 3.4 倍。

        所有比较均通过了严格的统计检验(Mann-Whitney U, p<0.002)。

        更有意思的是 MAP-Elites 方案和随机方案之间的对比。

        参与者在两种方案上花的观看时间没有显著差异,但从 MAP-Elites 方案里选出来实际使用的设计数量,显著多于随机对照组。

        这意味着「结构化多样性」,也就是好的、怪的、差的方案按维度排列在一起,比一锅乱炖的随机建议,产生了更强的创意激发效果。

        最反直觉的发现,藏在实验室研究里。研究者另外招募了 12 名工程专业学生做了一组对照更严格的实验:固定赛道、固定参数、固定时长(40 代算法迭代),只保留两个方案(MAP-Elites vs 随机),双盲标记为「Insights 1」和「Insights 2」。

        75%的人在 MAP-Elites 方案上花了更多时间,所有参与互动的人也都从 MAP-Elites 里选了更多设计。

        但问他们「哪个方案更有用」,答案却是分裂的。25%的人甚至认为随机方案更好,尽管他们的实际行为证明他们从 MAP-Elites 里获益更多。

        论文的解释是:行为参与和情绪参与是分离的。你在认知上确实受到了帮助,但你不一定「感觉」到这种帮助。

        这指向了一个更深层的机制,论文称之为「过早固化」(early fixation)。

        当你只看到好方案,你倾向于直接复制;当你看到一堆参差不齐的方案,你被迫开始自己思考,因为没有哪个方案可以直接拿来用。

        烂设计不是噪音,是认知摩擦。它拦住了你的第一反应,逼你绕远路。

        而绕远路,恰恰是创造力的产生条件。其中有一位参与者的反馈很有代表性:「我发现方案在后期更有用,当我自己做的修改不再产生更好结果的时候。」这正好印证了研究者的判断。

        多样化建议的价值不在起步阶段,而在你自以为找到最优解、实际上已经陷入局部最优的时候。

        更有参与者说自己会刻意挑差方案来看,「用来探索新想法」。

        你花钱买的不是答案一个 AI 给你的烂答案,竟然比好答案更有价值。

        这项研究还揭示了一个 AI 产品经理们,可能不太愿意面对的事实:使用 AI 方案的人花了更长的时间完成任务,而不是更短。

        研究者在论文中直言:「基于方案的人机协作工具不应被视为省时省钱的工具,而应被视为通过增强人类创造力来产出更好结果的工具。」在他们此前的一项研究中也观察到了同样的趋势:使用 AI 辅助工具的参与者完成任务所需时间显著更长,原因是情绪参与度更高,他们投入了更多精力去探索。

        这跟 AI 产品的主流营销叙事完全矛盾。从 ChatGPT 到 Midjourney 到 Cursor,所有 AI 工具的价值主张都是「更快、更好、更省力」。

        但这项研究的数据显示,真正有价值的 AI 协作,恰恰是让你花更多时间、投入更多精力的那种。

        省下来的不是时间,而是那些你原本不会走的弯路——可弯路,才是创造力的正路。

        这篇论文的标题叫「From Metrics to Meaning」,从指标到意义。

        作者批评了 AI 工具行业的主流评估方式:用点击率、复制率、采纳率来衡量 AI 建议的价值。

        这些指标只能捕捉行为参与(你是否点了),完全忽略了认知参与(你是否在想)和情绪参与(你是否在乎)。

        仅仅是「看」一眼设计建议,即使你没有选择它、没有复制它、没有对它做任何操作,它已经在影响你的设计过程了。

        这意味着 AI 产品用来衡量自身价值的那套指标体系,可能系统性地低估了 AI 真正的贡献,同时高估了「输出准确性」的重要性。

        这对每一个正在付费订阅 AI 工具的人都有价值:你每个月花 20 美元,期待的是一个给你最优解的系统。

        但恰恰,好的 AI,可能不是给你答案的那个,而是用一堆不完美的方案逼你自己去想的那个。

        当 Cursor、Claude、ChatGPT 都在卷输出质量的时候,也许最好的 AI 产品设计,应该故意「不那么好用」。

        你花钱买的不是答案,是刺激。我们正在招募伙伴📮 简历投递邮箱[email protected]✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)更多岗位信息请点击这里🔗
🔗 原文链接:http://mp.weixin.qq.com/s?__biz=MjM5MjAyNDUyMA==&mid=2651089983&idx=1&sn=431c1080e18af9391c806c609274cb8f&chksm=bce86620528e6b4e003ac8f6d3eed98786118a0ffbed4dbf5ef0f289222d6ae01750cb0e86ea
← 返回列表