本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs
AI正在让“制造”变得前所未有地便宜。
过去，一个软件产品从想法走到上线，往往需要产品经理、设计师、前端、后端、测试、运维和项目管理共同参与。今天，一个熟练使用AI的人，可能在几天内完成需求分析、界面设计、代码开发、文档编写，甚至部署一套可以实际运行的系统。
这种变化正在重新定义创业门槛。
更小的团队可以做过去大公司才能做的产品，普通企业可以快速拥有自己的智能助手，个人开发者也能够调用模型、连接数据库、接入支付、控制云资源。代码的生产效率正在迅速提高，软件的制造成本正在持续下降。
这当然是一场生产力革命。
但如果我们只看到“东西更容易造出来了”，就可能忽视另一件同样重要的事情：当系统越来越容易被制造，它们所拥有的执行能力，也正在以前所未有的速度扩散。
AI降低的不只是软件开发门槛，也降低了一个系统获得真实执行能力的门槛。
过去昂贵的是把系统造出来。
未来更昂贵的，可能是阻止它做错事。
一、成本没有消失，只是换了位置
严格来说，技术世界并不存在物理意义上的“风险守恒定律”。
但是在商业和工程系统中，经常存在一种类似守恒的现象：一种成本被技术压低之后，另一种成本会在系统的其他位置重新出现。
云计算降低了企业建设机房的成本，却增加了企业对云权限、配置错误和供应商依赖的管理压力。
移动支付降低了交易摩擦，却使账户接管、欺诈识别和资金追回变得更加重要。
自动化降低了人工操作成本，却放大了错误配置被批量执行的后果。
AI也是如此。
它正在压缩产品设计、代码编写、内容生产和系统集成的成本，但这些被节省下来的成本并没有完全消失。它们正在以另一种形式，转移到验证、监督、权限管理、责任认定和事故处置之中。
AI没有消灭成本，它只是把一部分制造成本，转换成了执行风险。
过去，一家公司可能需要几个月才能上线一套自动化系统。这意味着系统虽然昂贵，但通常会经过较长时间的讨论、测试和组织磨合。
今天，系统可以在几天内完成。
问题在于，软件生成速度提高了，企业理解系统的速度却没有同步提高；功能迭代速度提高了，安全验证速度却没有同比提高；执行权限可以迅速接入，组织责任却仍然停留在旧流程中。
系统已经上线，组织可能还没有真正想清楚它能做什么、不能做什么，以及出错之后由谁负责。
当制造速度超过理解速度，效率本身就会成为风险的放大器。
二、过去的软件主要提供信息，未来的AI开始直接制造结果
传统软件的核心功能，很多时候是记录、展示、计算和传递信息。
即使系统出现错误，后果也常常停留在信息层面：页面显示错误、数据录入异常、报告需要重做、流程需要重新发起。
这些问题当然会造成损失，但往往仍然存在人工修正的空间。
AI Agent带来的变化在于，系统不再只是告诉人们应该做什么，而是开始代替人们完成真实操作。
它可以修改云服务器配置、调整广告预算、批准退款、生成采购订单、调用支付接口、管理数字资产、控制生产设备，甚至代表企业与外部系统进行连续交互。
这意味着，AI的错误不再只是一段错误回答。
它可能成为一笔已经发出的付款、一个已经删除的数据库、一份已经提交的合同，或者一次已经作用于现实设备的控制指令。
当AI从生成内容走向执行动作，错误就从“答案不准确”升级为“结果不可逆”。
过去，我们可以把模型错误理解为一种信息质量问题。
未来，它越来越可能成为权限问题、资产问题、法律问题和经营连续性问题。
而且，这种执行能力正在像软件一样被快速复制。
过去，只有大型企业和专业团队有能力建设复杂自动化系统。现在，一个普通团队通过模型、插件、API和自动化平台，也能够快速拼装出拥有较高权限的智能系统。
制造能力普及的同时，危险能力也在普及。
AI真正改变的，不只是生产工具，而是执行能力的分配方式。
三、制造门槛下降，不代表可信门槛下降
一个产品能够被快速造出来，并不意味着它能够被可靠地使用。
能够调用支付接口，不代表它知道一笔钱是否应该支付。
能够修改云资源，不代表它理解哪些服务器承载着关键业务。
能够读取审批结果，不代表审批人看到的内容与最终执行对象完全一致。
能够生成一份操作摘要，也不代表摘要没有隐藏重要参数。
AI擅长生成、归纳、规划和组合，但它不会因为能力更强，就自动拥有正确的业务边界。
一个系统可能功能完整、界面漂亮、流程顺畅，甚至所有权限和审批记录都符合要求，却仍然执行了一个不应该发生的结果。
这正是AI时代最容易被低估的风险。
传统安全体系往往关注几个问题：操作者是谁、有没有权限、是否完成审批、操作是否被记录。
但这些问题主要回答的是“流程是否合法”。
它们未必回答“结果是否正确”。
合法执行，不等于正确执行；审批通过，也不等于结果符合真实意图。
如果一个AI误解了用户的目标，但拥有合法权限，它仍然可能完整地走完流程。
如果审批页面只展示了一段经过压缩的摘要，审批人仍然可能在信息不完整的情况下点击同意。
如果最终执行参数在审批后发生变化，系统日志依然可能显示整个流程“正常完成”。
风险并不一定来自绕过系统。
越来越多的风险，会在系统完全按照设计运行时发生。
AI时代最危险的事故，未必来自系统被攻破，也可能来自系统被正确地使用来执行一个错误结果。
四、风险正在从“少数复杂系统”扩散到“无数普通系统”
过去，高权限自动化系统数量有限。
它们通常集中在金融机构、云服务商、工业企业和大型互联网公司内部，由专业团队开发和维护。
这类系统虽然复杂，但至少拥有相对明确的责任边界、测试流程和运维体系。
AI正在改变这一结构。
越来越多的部门可以绕过传统的软件采购和开发周期，自行搭建Agent、工作流和内部工具。市场、财务、客服、运营和行政团队，都可能直接使用AI生成脚本、连接业务系统并获得执行权限。
从效率角度看，这是组织能力的释放。
从风险角度看，这也是高权限系统的快速扩散。
过去，危险集中在少数大型系统中。
未来，危险可能分布在成千上万个小型Agent、临时工作流、自动化脚本和部门级工具中。
它们可能没有正式立项，没有完整的安全评估，也没有清晰的生命周期管理。有些工具甚至可能是某位员工在几天内搭建，随后逐渐承担越来越重要的业务操作。
制造门槛下降之后，风险不会自动消失，只会从少数专业系统扩散到无数普通系统。
真正值得担忧的，不是某一个AI特别强大。
而是大量拥有有限能力、有限测试，却已经连接真实权限的AI系统同时出现。
单个系统的错误概率可能不高，但当系统数量、调用频率和执行范围同时增长时，整体风险会迅速累积。
一个系统偶尔犯错是技术问题，一万个系统同时拥有执行权，就是基础设施问题。
五、AI正在制造一种新的成本错觉
AI时代最容易形成的商业错觉，是把开发成本下降等同于总成本下降。
企业看到的是：开发周期缩短了，外包费用减少了，团队规模变小了，上线速度提高了。
这些指标都是真实的。
但它们只计算了“把系统做出来”的成本，没有计算“让系统长期安全运行”的成本。
一个AI系统真正进入业务之后，还会产生大量隐藏成本：
需要持续验证模型输出是否稳定，需要管理数据和提示词变化，需要控制插件和工具权限，需要识别系统是否被恶意输入影响，需要处理错误执行后的追责、补救和证据保存。
更重要的是，AI系统的行为并不完全由传统代码决定。
同一套系统在不同上下文、不同数据和不同模型版本下，可能产生不同决策。过去的软件测试主要验证固定输入与固定输出，现在的企业还需要面对概率性行为、上下文污染和复杂工具调用链。
制造成本可能减少了，但控制成本正在增加。
AI让产品的第一版越来越便宜，却让系统对真实世界负责的成本越来越昂贵。
因此，企业不能再只用传统的软件预算衡量AI项目。
一个项目节省了多少开发人员，并不是唯一指标。
更重要的问题是：它获得了多大的执行权限？错误结果是否可以撤销？系统是否存在独立的限制？事故发生后能否证明当时发生了什么？
如果这些问题没有答案，所谓的低成本，只是把代价推迟到了未来。
没有被计入预算的风险，不代表不存在，只代表它将在事故中结算。
六、权限、审批和日志，为什么仍然不够
面对AI执行风险，企业最自然的反应，是继续加强传统控制：限制权限、增加审批、保存日志。
这些措施依然重要，但它们并不足以解决全部问题。
权限系统主要解决“谁可以做”。
审批系统主要解决“谁同意了”。
日志系统主要解决“系统记录了什么”。
但AI时代还需要回答另外三个问题：
系统最终做的事情，是否与用户最初表达的意图一致？
审批人看到的内容，是否与最终执行对象一致？
当AI、管理员、审批流程或云端服务同时出错时，是否还存在一层独立边界能够拒绝执行？
如果缺少这些能力，企业可能拥有完整的权限记录、审批记录和操作日志，却仍然无法证明结果为什么发生，更无法在执行前阻止它。
审计能够解释事故，边界才能阻止事故。
这也是为什么AI时代的安全不能只围绕模型展开。
模型是否会产生幻觉、是否会受到提示词注入、是否会泄露数据，当然重要。但即使无法彻底保证模型永远正确，企业仍然可以限制错误结果进入现实世界。
就像银行不会要求每一位员工永远不犯错，而是通过额度、复核、隔离和清算机制限制错误后果。
安全的目标从来不是创造一个永不出错的主体。
安全的目标，是让任何一个主体的错误都无法无限扩张。
真正成熟的系统，不是假设每个参与者都会正确，而是假设任何参与者都可能出错。
七、未来真正稀缺的，不是生成能力，而是拒绝能力
在生成式AI普及之后，生成能力会越来越便宜。
生成代码、生成方案、生成合同、生成营销内容，都会逐渐成为基础能力。
规划能力也会越来越普遍。
系统能够拆解任务、选择工具、调用接口并连续完成操作。
当“让事情发生”变得容易，真正稀缺的能力将不再是执行，而是拒绝。
系统能否在金额异常时拒绝付款？
能否在执行对象变化时要求重新确认？
能否在审批信息不完整时停止操作？
能否在云端服务失效、管理员账户被盗或AI判断异常时，仍然守住一条不可突破的边界？
这些能力看起来不如生成和执行令人兴奋。
它们不会让演示视频更加炫目，也不会直接提高任务完成率，甚至可能因为误拦而降低短期效率。
但这恰恰是边界存在的意义。
AI负责寻找完成任务的方法，边界负责判断某些方法绝不能被采用。
未来最重要的系统，不一定是最会做事的系统，而是最知道什么时候不能做事的系统。
长期以来，软件行业崇尚可用性、速度和自动化。
AI把这套逻辑推到了极致。
但当软件开始掌握真实资产、真实权限和现实设备时，行业必须重新理解“能力”的含义。
能做更多事情，不一定代表系统更成熟。
有时候，能够坚定地拒绝一次错误执行，远比成功完成一千次普通任务更有价值。
八、企业需要重新计算AI的真实回报
未来，企业评估AI项目时，不能只计算节省了多少人力、缩短了多少时间、自动化了多少流程。
还应该计算它增加了多少执行权限，引入了多少不可逆操作，以及一旦错误发生，最大损失可能是多少。
一个每天为企业节省十小时人工的Agent，如果拥有删除生产数据的权限，那么它的价值不能只按节省的人力成本计算。
一个可以自动执行资金操作的系统，即使准确率很高，也不能仅凭平均表现判断是否安全。
在低后果场景中，企业可以追求更高的自动化率。
在高后果场景中，企业必须为拒绝、延迟和人工复核保留空间。
效率衡量系统通常能做得多快，边界决定系统最坏能错到哪里。
这意味着，AI项目的商业回报需要加入新的变量：
不是只有“自动化收益”，还要有“错误执行敞口”。
不是只有“任务完成率”，还要有“不可逆后果”。
不是只有“权限是否授予”，还要有“执行是否仍然符合原始意图”。
当这些变量被纳入计算之后，很多看起来便宜的AI方案，可能并没有想象中便宜。
它们只是把成本隐藏在未来，把风险留给下一次异常输入、权限配置错误或错误审批。
九、风险守恒不是悲观，而是对技术进步更完整的理解
讨论执行风险，并不是否定AI带来的效率。
恰恰相反，正因为AI将成为重要基础设施，我们才需要更认真地理解它带来的成本迁移。
汽车提高了移动效率，所以社会建立了刹车、交通规则、保险和碰撞标准。
电力提高了生产效率，所以工业体系发展出断路器、隔离开关和安全规范。
互联网提高了信息流动效率，所以企业建立了身份认证、访问控制和网络安全体系。
每一次能力扩张，都会带来新的边界需求。
AI也不会例外。
技术越强大，真正需要增加的不是信任，而是约束。
制造成本下降，是AI时代最直观、最令人兴奋的一面。
执行风险爆炸，则是更隐蔽、却可能决定产业长期走向的一面。
前者解释了为什么未来会出现更多产品、更小团队和更快创新。
后者决定了这些系统能否真正进入金融、工业、医疗、能源和关键基础设施。
一个社会不可能因为害怕风险而停止使用新技术。
但它也不能因为沉迷效率，而假设所有被制造出来的系统都值得获得执行权。
AI时代真正的问题，不是我们还能造出多少东西，而是哪些东西绝不能被错误地执行。
结语：过去昂贵的是创造，未来昂贵的是控制
AI正在把创造能力变成一种普遍能力。
越来越多的人可以开发产品、组织工作流、调用工具并控制系统。过去稀缺的技术能力，正在快速成为普通生产资料。
这是一场巨大的进步。
但创造能力普及，并不意味着判断能力、责任能力和边界能力也会自动普及。
当制造成本持续下降，系统数量会增加；当执行权限持续扩散，错误影响范围会扩大；当自动化速度超过组织治理速度，风险就会以更快的方式累积。
因此，AI时代不能只讨论如何让系统更聪明、更快速、更自主。
我们还必须讨论如何让系统在越界之前停止，如何让错误不被完整执行，如何在所有参与者都可能犯错的情况下，仍然保留最后一道拒绝能力。
AI没有让风险消失，它只是改变了风险出现的位置。
过去昂贵的是把系统造出来，未来昂贵的是阻止系统做错事。
制造成本的下降，不是AI故事的结尾，而是执行风险爆炸的开始。
这或许就是AI时代真正的风险守恒：
当创造变得越来越便宜，我们必须用更高的代价，去守住现实世界的执行边界。
本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 [email protected]。
本文来自虎嗅，原文链接：https://www.huxiu.com/article/4877664.html?f=wyxwapp