BIS报告- AI编程工具将程序员效率提升五成!

国际清算银行 (BIS) 近期发布的年度经济报告中，在探讨“人工智能对宏观经济的影响”时，引用了一项科学实验表明：人工智能编程工具可提升程序员的生产力超过 50%。

该实验持续了 14 周，跟踪了 1219 名蚂蚁程序员的使用情况，研究了他们在使用人工智能编程工具 CodeFuse 时的生产力变化。

结果显示，人工智能带来的生产力提升仅有小部分来自直接生成代码，而更多是由于与机器的互动激发了程序员的创造力。

值得注意的是，人工智能编程工具对初级程序员的提升更为明显，而高级程序员则更倾向于独立解决问题。

这是因为目前人们对人工智能工具的信任度尚处于早期阶段。

该实验历时近三个月，将 1219 名程序员分成两组，通过跟踪数据，分析了不同类型程序员使用人工智能编程工具时的表现。最终发现，通过人工智能编程工具，程序员的生产力可提升 50% 以上。

该实验是 BIS 在数字经济开放研究平台上的研究成果。该平台由北京大学数字金融研究中心、国家金融与发展实验室、蚂蚁集团研究院、上海交通大学中国金融研究院、浙江大学金融科技研究院和中国人民大学中国普惠金融研究院于 2019 年 4 月共同发起成立。

据悉，实验中使用的 CodeFuse 是蚂蚁集团自研的代码生成工具，广泛应用于蚂蚁内部研发流程。目前，每周超过 50% 的蚂蚁程序员在日常研发中使用 CodeFuse。

CodeFuse 生成的代码整体采纳率为 30%，在生成单元测试场景采纳率可达到 50%。

CodeFuse 实验项目组研究员表示，人工智能辅助代码编写主要涉及以下场景：代码补全、注释生成、测试用例生成以及图生前端代码。这些功能显著提升了程序员的效率。

例如，原本需要花费半天时间编写的代码，现在只需截屏点击即可完成。

从实验结果来看，人工智能编程对初级程序员的提升更为明显。这是因为目前人们对人工智能工具的信任度尚处于早期阶段。

该研究员分析道：“就像出现一种更出色的语言时，资深程序员会更倾向于坚持使用旧语言，而新手程序员则更愿意尝试切换。资深程序员通常已非常熟悉当前的研发项目，遇到的技术卡点相对较少，且由于技术自信，他们会优先自己独立解决问题，而不是寻求人工智能工具的帮助，因此不太主动体验或探索更多功能。”

相比直接代码生成，人工智能更能激发程序员的创造性。在本次实验中，人工智能带来的生产力提升，主要在于影响了程序员的创造力，而不是直接生成代码。

该研究员表示，“并不是像人们想象的那样，机器帮助生成代码才会提升生产力，而是与机器交互的过程中，激发了程序员的创造力，进而影响了生产力。”

AI工具为编程工作打开了局面，让程序员不再耗费时间于繁琐重复的任务，得以专注于更具创造性的工作。

在AI工具出现之前，遇到技术难点时，程序员只能通过搜索引擎寻找答案，但搜索结果质量低下，往往夹杂着广告和钓鱼信息，严重影响工作效率。

如今，大模型的诞生使世界各地的知识以极高的压缩率浓缩在百亿至千亿参数模型中，程序员只需几轮简单的对话就能获取所需信息。

一名程序员分享了他的AI工具使用体验：过去，一个简单问题可能困扰程序员数小时甚至半天，而现在，通过AI对话工具，只需几分钟就能解决。

程序员不仅需要编写代码，还需要测试代码。蚂蚁内部调查显示，测试代码所占用的时间平均是开发代码的1.5倍。

对于这项考验耐心的繁琐工作，AI工具也能帮助程序员提升效率。

“测试代码对程序员来说极具挑战，因为需要巧妙地编写测试代码，在测试时间（效率）和测试覆盖率之间取得平衡，还需要构建测试数据，模拟测试场景。这些步骤在人工操作下很容易出错。”

用户调研访谈结果显示，“而AI工具的一键生成单测代码功能，让程序员无需编写或仅编写少量测试代码作为示例，即可将工作交由AI自动生成，完成不同场景和代码分支的测试覆盖。”

未来五年内，AI写代码有望达到L4水平。

在AIGC和大模型概念风行的当下，很多人关心AI是否会取代人类工作。蚂蚁集团代码大模型CodeFuse负责人李建国认为，在可预见的未来，AI完全取代程序员不太现实，自然语言编程处于类似于自动驾驶技术中的L2.5级别。

据悉，蚂蚁集团的下一个目标是在特定场景下实现L3级别的完全自动化。

例如，在效能领域的持续集成（CICD）场景，就有可能通过大模型的驱动实现自动化操作，包括触发检查、提交，甚至创建拉取请求（PR）。

要实现全场景、全链路的自动化，李建国坦言，前端的发展可能需要一段时间。

复杂的项目级需求拆解，特别是特定领域的拆解，也面临着巨大挑战。

李建国预计，在摩尔定律的推动下，可能需要3-5年的时间才能达到L3甚至接近L4的水平。

届时，AI编程有望发展到一个新阶段：预计将替代20%至30%的编程工作，未来甚至可能提升到50%，一些环节可以完全自动化，让人类得以专注于更具创造性的工作。

总体而言，AI程序员成为企业运营中的主流趋势势不可挡。

无论是AI程序员，还是全生命周期研发智能体，大模型都将极大地提升整个软件研发范式。

要实现全场景自动化，人类在其中仍然扮演着重要角色。

架构层次的创新离不开人类的参与。大模型也将催生出新的职业，就像计算机催生了程序员职业一样。