评论员文章

OpenAI、DeepMind 和 Stability AI 的科学家科普 AI 治理，Google、Meta 和微软的领航人物共论开源未来，图灵奖得主与斯坦福、UC Berkeley、MIT 的教授展开学术辩论——这描述的并不是远在大洋彼岸的 NeurIPS 或 ACL 会议，而是由中国智源研究院主办的年度盛会:北京智源大会。

今年的北京智源大会于6月9-10日召开，20场论坛、100场报告、顶尖的专家、顶尖的观众，汇聚了 AI 领域纯粹、专业的前沿思想。OpenAI 创始人 Sam Altman 以及“深度学习三巨头”中的两位 Yann LeCun 与 Geoffrey Hinton 现身于分论坛视频连线的大荧幕上，Max Tegmark 与 Stuart Russell 等来自顶尖学府的教授亲赴现场。

(资料图片仅供参考)

CSDN 在现场参加了这场为时两天的 AI 盛会。科技大咖智聚京城，共论当前 AI 领域最前沿的争议焦点:

对 AI 保持乐观主义的Yann LeCun，认为 AI 还远远未发展到还需要操心的程度。GPT 终将过时，未来的 AI 会面临三大挑战，解决后将javascript能训练出「世界模型」（World Model）。

曾用一份“暂停6个月 AI 研究”的公开信震惊业界的Max Tegmark教授则表示，罔顾 AI 的最坏结果将会是人类灭绝。对齐问题将是学术界接下来的一大难题:如此庞大而复杂的智能模型，要怎样才能保持和人类同一水准的价值观和道德观?

一亮相便轰动北京会场的Sam Altman，则发表了一份真诚的呼吁:国际科技界需要团结一心，携手促进 AGI 安全的透明化，为未来十年内诞生的“超级智能”做好准备。

学术界还有一部分人，对这些围绕 GPT 的话题并不买账，而是关心更深远的 AI 话题。Stuart Russell教授直言，目前的大语言模型缺乏「内部目标」，而人类也不理解它们的“黑匣子”里都发生了什么。

Geoffrey Hinton则带来了一场精彩绝伦的谢幕演讲:“超级智能”已成雏形，但人类尚未给它建立道德准则——现在为时不晚。

SamAltman:

团结全世界的人才治理未来的“超级 AI”!

《道德经》提醒我们，“千里之行，始于足下”，最有建设性的第一步是与国际科技界展开合作，推动增加AGI安全技术进展的透明度和知识的机制，发现紧急问题的研究人员应该与更多人共享研究成果。

“我最近在做全球巡回的访问，期间穿越五大洲将近20个国家。我接触了诸多的学生、开发者，这趟出行令人振奋，我们见证了全球各地的人们利用 OpenAI 的新技术来改变生活方式，我们也获得了非常宝贵的意见，以便于让我们的工具优化得更好。”

这是 OpenAI 创始人 Sam Altman 的开场白，也是现场观众反应最激烈的一刻。Altman 首次在中国发表演讲，强调了对人工智能（AI）发展的负责任态度和国际合作的重要性，特别关注全球 AI 安全对齐和监管。他提出管理风险、推进超级智能的安全和治理的方案，并展望了 AI 的潜力和未来。同时，他呼吁全球研究人员的合作，应对技术挑战，利用 AI 解决全球问题。

Altman 借用《道德经》中的名句“千里之行，始于足下”，呼吁全球开发者共同协作。他还预测，未来10年内“AGI 将会超过90年代初人类所具备的专业水平，这些 AI 系统最终可能超过人类最大体量公司的总体生产力，其潜在收益是巨大的。”

OpenAI 花了八个月的时间来研究如何前置预判风险并制定相应的对策，而 Altman 笃定他们处于正确的道路上前进，因为 GPT-4的对齐程度超过了当前所有的代码水平。然而，对于更高级的系统，对齐仍然是一个未解决的问题。Altman 重点指出，未来需要新的技术方法和加强治理监督，特别是考虑到 AGI 可能将是一个庞大的二进制代码系统，实现对齐会是一场挑战。

此外，Altman 积极评价了中国在人工智能安全对齐方面的重要作用。他认为中国拥有全球顶尖的人才，解决人工智能系统对齐的困难需要来自世界各地的人才共同努力。Altman 表示:“我们看到了美国、中国和世界各地的研究人员合作实现 AI 目标的巨大潜力，大家都致力于解决通用 AI 技术挑战。我相信我们将能够利用通用 AI 来解决世界上最重要的问题，并显著改善人类的生活质量。”

演讲结束的问答环节中，智源研究院理事长张宏江询问了 Sam Altman 关于 AI 的发展近况和全球合作的进展，并对 OpenAI 在 AGI 方面的未来计划进行了提问。Sam Altman 的观点如下:

AGI 可能很快会出现，超级智能在未来十年内可能会成为现实。

目前已经取得了一些全球合作的突破，但全球合作仍然面临困难。

AI 安全性的研究是一个复杂的问题，需要考虑多个因素，并需要大量的投入，希望中国和美国的研究人员能做出贡献。

当被问及是否打算重新开放 GPT 的源代码时，Altman 表示已经作出了一定的努力，未来将会有许多开源大模型诞生。但开源模型在 AI 发展中起了重要作用，当模型变得更大时，就更需要谨慎安全问题。

Yann LeCun:

GPT 终将过时，世界模型可以成就真正的 AGI

婴儿在九个月大的时候就能掌握大量关于世界运作方式的基础概念:物体的永恒性、世界是三维的、有机物和无机物之间的区别、稳定性的概念、自然分类、重力……而 GPT 这类大模型存在局限，根本无法理解现实世界。

2018年，ACM 公布了图灵奖得主——Geoffrey Hinton、Yann LeCun和Yoshua Bengio。这三大巨头同时享誉着深度学习之父的称号，去年的北京智源大会，就邀请了其中的 Yoshua Bengio。今年，智源邀请了剩下两位。

杨立昆原本人在美国时就答应了现场参会演讲，但由于临时有事，他不得不前往法国。大会当天上午，杨立昆拒绝了录制视频，而是在凌晨四点的法国熬夜，坚持与大家实时交流。

杨立昆的演讲题目是《Towards MAChines that can Learn， Reason， and Plan》——我们要怎么打造一个能够学习、推理和规划的机器?杨立昆单刀直入，表示 GPT 肯定不行。当前主流的自我监督学习路线存在许多局限，包括缺乏规划和不合理的输出等问题。如果想创造一个真正理解世界、理解人类的人工智能，那么就需要另辟蹊径。

“那么，我们要如何让机器像动物和人类一样，理解世界的运作并预测其行为的后果呢?”在这句话之后，杨立昆提出了「世界模型」的概念。世界模型曾被发表于杨立昆一年前的论文《A path towards autonomous machine intelligence》，该模型要先学习世界的表征和预测模型，然后学习推理，最终实现真正的理解、预测和规划能力。

然而，目前还没有深度学习方法能够有效地训练这样的世界模型。因此，杨立昆介绍了联合嵌入预测架构（JEPA），系统性地介绍了这一实现推理和规划的关键。

演讲结束的问答环节中，清华大学教授、智源首席科学家朱军询问了杨立昆关于 AGI 的看法，问答的要点如下:

杨立昆即将参加一个辩论，与 Joshua Bengio、Max Tegmark 和 Melanie Mitchell 讨论人工智能是否会威胁人类生存。

Max Tegmark 和 Joshua Bengio 认为强大的人工智能系统可能对人类构成风险，而杨立昆和 Melanie Mitchell 则持相反观点。

杨立昆指出，他并不是想说“AI 完全不存在风险”，而是认为“目前的 AI 风险可以被谨慎的工程设计减轻或抑制”。

杨立昆表示自己不能预测超级智能在未来能造成多大的影响，因为超级智能尚未问世。他举了一个例子:如果你去问一个1930年的航空工程师，“我该如何确保涡轮喷气发动机的安全可靠性?”那他肯定答不出来，因为涡轮喷气发动机在1930年还没被发明出来。

Max Tegmark:

从现在开始加强治理，我们未来才能控制 AI

《暂停巨型 AI 实验:一封公开信》

我们呼吁所有 AI 实验室立即暂停对比 GPT-4更强大的 AI 系统的训练至少6个月。

...

签字人:

Yoshua Bengio，Mila 创始人兼科学总监，图灵奖得主，蒙特利尔大学教授

Stuart Russell，伯克利计算机科学教授，标准教科书“人工智能:现代方法”的合著者

Elon Musk，SpaceX、Tesla 和 Twitter 的首席执行官

Steve Wozniak，苹果联合创始人

...

Max Tegmark，麻省理工学院人工智能与基础交互中心，物理学教授，未来生命研究所所长

今年3月22号，一封名单十分豪华的联名信被递到了大众视野面前，而这封信发出者，正是美国非盈利机构未来生命研究所的创始人 Max Tegmark。Tegmark 的演讲直接排在了杨立昆之后，6月22日，两人将在未来展开一场关于 AGI 的现状和未来的辩论，而这就是辩论的预演。

Tegmark 的演讲主题言简意赅:《Keeping AI under control》——管控人工智能。Tegmark在演讲中强调了控制人工智能的重要性。他认为我们需要对人工智能进行深入研究，并保持谨慎和负责任的态度。如果我们无法掌控人工智能，它可能对人类文明构成威胁。

“我提出暂停人工智能研究六个月，并不是因为我反对人工智能。倒不如说，正是因为我看到了人工智能的潜力和可能带来的改变，我才想更谨慎、更负责任地进行研究。”Tegmark 表达了自己的态度，并提出了两个关键问题:对齐问题和动机问题。

他指出，我们需要确保人工智能能够真正完成我们的任务，并确保使用人工智能的机构具有正确的动机。此外，我们还必须考虑竞争性风险。因此，在人工智能的发展过程中，我们需要确保所有参与者都共享相同的目标——安全地使用人工智能。

“人工智能是一柄双刃剑，它能用巨大的潜力帮助我们解决世界上最具挑战性的问题，但同时也带来了无法预测的后果和风险。我们必须谨慎前行，确保对这个强大工具安全、有效地利用。”Tegmark 说道。

演讲结束的问答环节中，清华大学教授、智能产业研究院院长张亚勤讨论了Max Tegmark 的新书《生命3.0》，问答的要点如下:

张亚勤对 Tegmark 提高人们对人工智能风险与挑战意识表示感谢，并强调发明新技术和控制人工智能以造福人类和社会的重要性。

Tegmark 承认人工智能的增长速度超过了智慧的发展速度，强调需要暂停风险工作，让智慧赶上发展。

Tegmark 对 AGI 表达了乐观情绪，但强调需要有意识地引导人工智能朝着与人类价值和情感相一致的未来发展。

Tegmark 认为中国在人工智能监管方面做得最多，其次是欧洲和美国。他建议年轻人注重基础知识，发展开放思维，并在人工智能时代拥抱跨学科知识。

Stuart Russell:

AGI 前途未知，对齐是目前的首要问题

想让机器模仿人类，那最简单的做法就是让大语言模型也像人类一样，在说话时带有目的性。但现在的大语言模型是否具备这种内在目标呢?我曾经问过微软研究院今年的那篇论文《通用人工智能的火花:GPT-4的早期实验》的作者，他是这么回答的:“我不知道。”

许多人工智能专业的教授会将“AIMA”列为主要教材，而这本比砖头还要厚的“AIMA”其实是一本经典的人工智能教材，全称《人工智能:一种现代的方法》（Artificial Intelligence: A Modern Approach）。智源大会将 AIMA 的合著者之一，加州大学伯克利分校计算机科学教授 Stuart Russell 请到现场，让他发布了演讲《AI:Some Thoughts》。

这位学术界巨擘并没有带着复杂的公式和理论上台，而是用生动形象的话语为现场观众介绍了他的想法。以下为几大要点:

人工智能具有巨大的潜力和不可阻挡的势头。

人工智能的标准模型，会导致人类失去对日益智能的 AI 系统的控制。

证明人工智能的安全性和益处是可行且值得的。

人工智能必须变得更像航空和核能，具备严格的安全标准和国际合作。

Russell 指出，人们需要重新理解人工智能，我们不应追求广义上的超级智能，而是致力于构建对人类有益的机器。因此，解决人工智能问题需要机器遵循两个原则:为人类的最大利益行事，并了解什么是人类的最大利益。

大型语言模型的设计目标是模仿人类的语言行为，但它们是否具有内在目标尚不清楚，这些目标可能与人类目标不一致，也可能对人类有害。人工智能系统应该理解人类的目标并基于此采取行动，而不是简单地复制和内化人类目标。共同目标，则是人们在追求其他目标时所共有的编程背景。

关于人工智能的政策建议，Russell 提出了构建可理解的 AI 系统、利用技术构建透明和可解释的系统、防止不安全的 AI 系统的部署，并进行整个数字生态系统的改革以确保只有安全的系统被部署。在未来，人工智能领域需要类似于航空和核能领域的重大变革，必须在严格的规定和安全标准下进行部署，而这需要全面变革。

演讲结束的问答环节中，图灵奖得主，中国科学院院士姚期智和 Russell 展开了一场尖峰学术讨论，他们的对话要点如下:

AGI 尚未实现，大语言模型只是构建 AGI 的一部分。

大语言模型的“黑匣子”是一项致命问题，如果人类无法对这些模型产生的效果和属性进行理解，那大语言模型就不能像人工智能一样成为科学。

科技公司为了竞争不顾风险，至今仍在开发越来越强大的系统。

当前的大语言模型并没有理解世界，所以它们并没有真正“回答”问题。

Geoffrey Hinton:

超级智能是当今世界最紧迫的问题!

我不知道要如何预防人工智能未来演化出的「欺骗」能力……我已经老了。我希望像你们一样的青年才俊们，能在未来研究出造福人类的超级智能。

2023北京智源大会的论坛闭幕主题演讲由图灵奖得主、「深度学习之父」 Geoffrey Hinton 进行，这个名字相当重磅，但更加令人深刻的则是 Hinton 的演讲本身。今年5月份，谷歌 AI 的「门面」 Geoffrey Hinton 宣布离职，只为畅谈人工智能所带来的风险。Hinton 虽然未能到达北京现场，但却在大屏幕上成功传达了他的警告:超级智能的到来比我们想象的更近!

Hinton 的演讲围绕着两个问题展开:人工神经网络的智能程度会很快超越人类的神经网络吗?人类是否能控制这么强大的超级智能 AI?对此，Hinton 介绍了一个概念:Mortal Computation。"Mortal"这个词源于拉丁语 "mortalis"，意为"有限的"、"致死的"或"可死的"，在宗教或哲学上，"mortal"可以表示人类的有限寿命和有限力量，与神性或永恒性相对立。

而 Hinton 的“Mortal Computation”是一种全新的计算模式，与传统的计算模式不同，“Mortal Computation”抛弃了软硬件分离原则，并不使用反向传播来描述神经网络内部路径，具有局限性和不完美性。

Mortal Computation 的意义在于让计算机实现人类智慧。当前的 AI 大语言模型已经将人类的知识学习到了庞大的参数中，这个过程与硬件无关。所以，只要有兼容指令的硬件，相同的代码和模型权重就可以直接运行，这就为智慧的永生提供了一个「肉体」。

然而，传统的软硬件分离计算方式在能量效率和规模上非常低效。为了改变这种情况，Hinton 提出了一个新的思路:放弃软硬件分离的计算机设计原则，将智能实现在一个统一的黑盒子中。这样一来，能耗和计算规模都会大幅降低，可以以更高效的方式进行智能计算。

然而，这种新的计算模式也存在一些限制。比如说，它放弃了高效复制权重来复制智慧的能力，也就是放弃了永无止境的复制和传承智慧。

通过上述的讲解，Hinton 解答了第一个问题:人工神经网络的智能程度会很快超越人类的神经网络吗?而他的最终答案是:超级智能的出现速度可能比他预期更快，可能被恶意利用进行操纵和战争。但对于他自己提出的第二个问题——人类是否能控制这么强大的超级智能 AI?Hinton 无法做出回答。

Hinton认为，数字智能追求更多控制权会带来许多问题，它们将学会欺骗人类，并且获取更多权力。他坦言自己已经老了，并希望年轻人们能够研究出真正的超级智能，并提供道德原则以保持控制。Hinton指出，人类有一个微小的优势:“超级智能还未进化。我们创造出了它，所以也可以给它提供道德准则。”

中国 AI 新进程:智源悟道3.0全面开源!

能邀请到数量如此之多的科技巨星，进行最纯粹的学术讨论和思想碰撞，这在以前是难以想象的。作为大会主办方，北京智源人工智能研究院不仅为国际嘉宾们绞尽脑汁，也同时向世界展现了属于中国的开源 AI 大模型。

6月9日上午，北京时间九点，开幕式及全体大会准时举行。智源研究院院长黄铁军首先发布了《2023智源研究院进展报告》。报告显示，2021年6月份发布的“悟道2.0”大模型，是“中国首个、世界最大”的大模型，参数高达1.75万亿，在国际范围得到广泛的反响。如今，大模型成为了全社会关注的热点，黄铁军院长认为，大模型至少要具备三个特点:

规模要大，神经网络参数要达到百亿规模以上;

具备涌现性，产生了预料之外新能力。这是人工智能发展六七十年来，最有里程碑性质的能力;

通用性。大模型应不限于专门问题或者专门的领域，能够解决各类问题。

介绍完以上特点后，黄铁军院长亮相了全面开源的“悟道3.0”系列大模型:

首个支持中英双语知识、开源商用许可、国内数据合规需求的开源语言大模型“悟道天鹰”（Aquila）。

提供“能力-任务-指标”三维评测框架的“天秤”（FlagEval）大模型评测体系。

力求打造大模型时代“新 linux”生态的 FlagOpen 大模型开源技术体系。

6项“悟道视界”视觉大模型研究成果。

一年一度的智源大会已经成为北京、全国乃至全球范围内的一个独具特色的专业盛会，而今年的智源大会更是星光璀璨，汇聚了人工智能领域最关键的人物、最重要的机构、最核心的话题和最内行的观众。在未来，超级智能真正问世之际，人类是会回味起科技先驱们的醒世之言，还是沉溺于便利与舒适的智能生活呢?