今天，人们担心AI能力增长太快，担心失控、军备竞赛、滥用，也有人主张让发展慢一点。减速有价值，因为它可以买来时间。
但如果真的争取到了时间，我们准备拿这段时间回答什么？
控制解决“它能不能这样做”。更早的问题是：我们为什么首先让它追求这件事？
目标、目的、伦理不是一回事
“提高利润”“赢得战争”“降低成本”“治愈疾病”，这些是目标：要做什么。
目的追问：为什么值得做？为了谁？最终把世界带向哪里？
伦理再往前一步：什么不能因为收益更大就被牺牲？什么时候应该停止？如果判断错了，能不能修改？
如果只讨论AI有没有忠实执行目标，我们就默认了一个更重要的前提：这个目标本身已经值得追求。
真正需要对齐的，不只是机器
企业会把增长目标交给AI，国家会把安全目标交给AI，个人会把自己的愿望交给AI。AI未必拥有人的贪婪或权力欲，但它完全可以非常有效地替某个主体实现利益。
所以即使机器没有“私心”，整个系统仍然可能运行一种只从局部利益出发的逻辑。
如果你今天交给AI的每一个目标，都首先来自“怎样对我更有利”，那你凭什么期待它明天会追求别的东西？
问题最终回到人类自己
这不是要放弃利己。人当然要保护自己、家庭、组织和国家。真正需要改变的是：“只对我有利”不能再成为一个目的足以成立的理由。
在一个目标被确定以前，他者、共同生存的基础和未来重新选择的可能，也必须进入判断。
这就是文明跃迁进入AGI问题的地方：不是先给机器写一条更高尚的规则，而是先改变人类自己生成目标和目的的默认逻辑。
核心判断
AGI最终追求什么，不只取决于我们给它写了什么目标，也取决于人类首先把什么样的目的当成理所当然。
AGI最终追求什么，不只取决于我们给它写了什么目标，也取决于人类首先把什么样的目的当成理所当然。