实验设计与AI辅助下的表现提升
经济学家戴维·奥特(David Autor)与合著者塔尼娅·罗琴科(Tanya Rodchenko)、乔什·马丁(Josh Martin)、赞娜·伊斯琴科(Zanna Iscenko)、斯科特·斯特兰德(Scott Strand)、戴维·珀尔(David Pearl)以及梅丽莎·费雷尔(Melissa Ferere)开展了一项针对AI如何影响专业技能的研究。这项为期3个月的随机对照试验覆盖了美国11家知识产权律师事务所的133名执业专利律师。
在实验设定中,三分之二的参与律师被划入实验组,获得了Google Labs一款未公开发布的AI专利撰写助手的早期访问权限,而对照组律师则被限制使用该工具。行业媒体Patently-O指出,该工具为谷歌内部的InFlow专利写作助手。
外部专家专利律师在不知情的情况下,从可执行性、准确性、战略模糊性、完整性和清晰度五个维度对所有提交内容进行了盲审打分。评估显示,在AI工具辅助下,实验组在第10天和第90天的撰写得分分别提高了0.34个标准差和0.38个标准差。
不过,AI辅助带来的质量提升主要体现为差评频率的降低以及良好评分频率的增加,极端优秀的评分并未出现显著变化。在工作效率方面,使用AI的初级律师在第10天的撰写任务中比对照组124分钟的平均用时缩短了18分钟。
脱离工具后的技能留存分水岭
在第90天开展的一项严禁使用AI的独立专利红线批注任务中,实验组律师的整体表现优于对照组0.32个标准差。这项任务旨在评估律师在脱离AI后的真实专业判断力与技能发展。
然而,脱离AI后的表现优势完全由资深律师拉动,其成绩比对照组高出0.45个标准差。相比之下,初级律师在独立任务中没有表现出平均技能的提升,其得分出现两极分化,极低分与良好分数的数量均有所增多,但没有产生更多优秀评分。
对专业技能沉淀与培训机制的反思
传统专业判断力的形成通常依赖于资深人士指导下的大量常规业务,需要经历数千小时的在职学习积累。此前已有实证研究指出,AI工具能改善经验较少员工的独立表现,但也有其他实验显示,一旦移除AI辅助,相关收益往往难以持续。
美国国家经济研究局(NBER)研究人员总结指出,从AI辅助实践中沉淀持久技能可能需要以扎实的基础专业知识为前提,因为获得AI直接辅助收益最大的初级律师,技能留存反而最少。行业媒体Patently-O指出,这一发现揭示了从业者在利用AI的同时如何维系基础技能培养的核心挑战;科技媒体AI Weekly则分析称,初级员工得分的两极分化直接反驳了企业用来证明精简培训体系合理性的“AI能提升所有人”的宣传说辞。

