![]()
搜狐科技《思想大爆炸——对线期◈ღ◈◈，对话上海交通大学计算机系教授九游会J9·(中国)真人游戏第一品牌◈ღ◈◈，思必驰联合创始人◈ღ◈◈、首席科学家俞凯◈ღ◈◈。
俞凯◈ღ◈◈，上海交通大学计算机科学与工程系特聘教授◈ღ◈◈、博导◈ღ◈◈，思必驰联合创始人◈ღ◈◈、首席科学家◈ღ◈◈，国家“万人计划”科技创新领军人才◈ღ◈◈。清华大学自动化系本科◈ღ◈◈、硕士◈ღ◈◈，英国剑桥大学工程系博士◈ღ◈◈，长期从事智能语音及语言处理◈ღ◈◈、人机交互◈ღ◈◈、模式识别及机器学习的研究和产业化工作◈ღ◈◈，《强化学习》（2019年版）的中文译者◈ღ◈◈。
继九年前的AlphaGo之后◈ღ◈◈，强化学习的力量再一次显现在公众面前◈ღ◈◈。无论是ChatGPT的出圈◈ღ◈◈，还是DeepSeek的爆火◈ღ◈◈，底层都有强化学习的支撑◈ღ◈◈。
英伟达CEO黄仁勋认为◈ღ◈◈，强化学习是AI的重大突破◈ღ◈◈，它可以让AI几乎拥有无限数据九游会J9·(中国)真人游戏第一品牌◈ღ◈◈，并会在代理AI和物理AI领域发挥重要作用◈ღ◈◈。
这离不开强化学习先驱理查德·萨顿（Richard S. Sutton）及其导师安德鲁·巴图（Andrew G.Barto）◈ღ◈◈，自80年代以来所做的持续性探索◈ღ◈◈。两人不久前◈ღ◈◈，还因此获得图灵奖◈ღ◈◈。
这两位先驱的理论思想集中体现在1998年第一次出版的《强化学习》◈ღ◈◈，时至今日其仍被视为强化学习领域的经典教材◈ღ◈◈。
“思想总是走在行动的前面◈ღ◈◈，就好像闪电总是走在雷鸣之前九游会J9·(中国)真人游戏第一品牌◈ღ◈◈。”作为《强化学习》第二版的中文译者◈ღ◈◈，俞凯在前言中用德国诗人海涅的这句诗◈ღ◈◈，描述了首次读到该书英文原版时的感受◈ღ◈◈。
俞凯兼具学者和创业者双重身份◈ღ◈◈，目前是上海交通大学计算机系教授◈ღ◈◈，同时是思必驰公司联合创始人◈ღ◈◈、首席科学家◈ღ◈◈。
近日◈ღ◈◈，他在与搜狐科技的交流中像素岛九游会体育官方网页版◈ღ◈◈，◈ღ◈◈，谈及再次爆火的强化学习难掩兴奋◈ღ◈◈。“这不只是公众认知的更大认可◈ღ◈◈，也是计算机领域对行为主义的巨大认可◈ღ◈◈。”
俞凯本硕毕业于清华大学自动化系◈ღ◈◈，2006年获得剑桥大学语音识别博士学位◈ღ◈◈，2012年回国像素岛◈ღ◈◈，成为把基于强化学习框架的对话管理决策的理论方向引入到国内的第一人◈ღ◈◈。
俞凯介绍◈ღ◈◈，强化学习最早的基本理念来源于上世纪四五十年代的控制论◈ღ◈◈，并成为AI三大学派之一——行为主义的核心理论◈ღ◈◈，发展也是历经起伏◈ღ◈◈。
其中特别重要的突破是2016年的围棋机器人AlphaGo◈ღ◈◈，这是深度学习和强化学习结合的一次胜利◈ღ◈◈。后来的AlphaZero◈ღ◈◈，则完全用强化学习达到了更高的水平◈ღ◈◈。
当时◈ღ◈◈，这给了俞凯很大信心◈ღ◈◈。“我一直坚信强化学习会有重大作用◈ღ◈◈，也鼓舞我们要更扎实做好自己的研究◈ღ◈◈，并希望让更多的人知道强化学习的作用◈ღ◈◈。”
于是像素岛◈ღ◈◈，他有了想去翻译《强化学习》的念头◈ღ◈◈，并得到作者支持像素岛◈ღ◈◈，2019年中文译本出版◈ღ◈◈。他在前言写道◈ღ◈◈：“本书所介绍的强化学习◈ღ◈◈，是后深度学习时代技术发展的重要火种之一◈ღ◈◈。”
如今◈ღ◈◈，这个火种照亮了人类通往AGI的前行之路——OpenAI◈ღ◈◈、DeepSeek等都在用这个火种◈ღ◈◈，探索AGI的实现路径◈ღ◈◈。
“OpenAI和DeepSeek的贡献并不是基础理论◈ღ◈◈，而是关键技术和工程尺度◈ღ◈◈。”在俞凯看来◈ღ◈◈，相比OpenAI◈ღ◈◈，DeepSeek更激进◈ღ◈◈，完全不用SFT（监督微调）◈ღ◈◈，这更接近强化学习的本质◈ღ◈◈。
俞凯表示◈ღ◈◈，强化学习和之前所有的范式不同◈ღ◈◈，它可以在与环境交互中自己造数据◈ღ◈◈，实现数据产生和模型优化的闭环◈ღ◈◈，这是整体范式的变化◈ღ◈◈。
这打破了深度学习的数据瓶颈◈ღ◈◈。不过◈ღ◈◈，俞凯强调◈ღ◈◈，这并不意味强化学习未来会一统天下像素岛◈ღ◈◈。“强化学习的思想◈ღ◈◈，深度学习的手段◈ღ◈◈，符号主义的理论◈ღ◈◈，这些一定会交叉融合◈ღ◈◈。”
这也是AGI能够实现的必要条件◈ღ◈◈。“AGI的实现◈ღ◈◈，已经走到了基础理论框架比较明确的阶段◈ღ◈◈，但真正的关键技术和工程尺度问题解决◈ღ◈◈，以及和真实世界融合方面◈ღ◈◈，还有非常大的挑战◈ღ◈◈。”
对于未来应用◈ღ◈◈，俞凯认为像素岛◈ღ◈◈，机器人会是强化学习最典型的领域◈ღ◈◈，而AI将从生成智能变成执行智能◈ღ◈◈，分布式◈ღ◈◈、可控可靠和多模态系统将是重点◈ღ◈◈，同时软硬结合也是趋势◈ღ◈◈。
从杰弗里·辛顿（Geoffrey Hinton）到萨顿和巴图◈ღ◈◈，他们的理论一度都不被重视◈ღ◈◈，俞凯则把他们称为“非主流方向上的执着甚至孤独的思想者”◈ღ◈◈。现在◈ღ◈◈，这些智慧都发出耀眼的光芒◈ღ◈◈。
谈及基础理论创新的突破◈ღ◈◈，俞凯表示◈ღ◈◈，这需要非功利性的目标◈ღ◈◈，必须重视基础学科以及学科交叉融合◈ღ◈◈。同时九游会J9·(中国)真人游戏第一品牌◈ღ◈◈，还要鼓励独立探索◈ღ◈◈，而参与者要做好长期坚持的准备◈ღ◈◈。
俞凯◈ღ◈◈：强化学习比人工智能这个词出现的都要早◈ღ◈◈，最早的基本理念来源于四五十年代的控制论◈ღ◈◈，和自动化◈ღ◈◈、最优控制有本质联系◈ღ◈◈，这条线叫行为主义◈ღ◈◈。
后来◈ღ◈◈，联结主义（深度学习）和符号主义都出现了◈ღ◈◈，联结主义也是几起几落◈ღ◈◈。直到语音和图像识别的突破◈ღ◈◈，深度学习才被广泛认知◈ღ◈◈，另外两个也开始和联结主义结合◈ღ◈◈。
强化学习主要在工业自动化领域◈ღ◈◈，不是特别突出◈ღ◈◈。后来被人注意◈ღ◈◈，特别重要的点是◈ღ◈◈，公众认知中最难的智能任务——下棋博弈◈ღ◈◈，强化学习异军突起◈ღ◈◈。所以2016年的AlphaGo特别有影响力九游会◈ღ◈◈，◈ღ◈◈，它把强化学习和深度学习结合在一起◈ღ◈◈，但解决的是科学问题◈ღ◈◈。
这波大语言模型◈ღ◈◈，又是强化学习和深度学习的结合◈ღ◈◈，能够广泛应用了◈ღ◈◈。本质讲◈ღ◈◈，就是强化学习在关键的科学问题和产业问题的解决上产生了放大效应◈ღ◈◈，使它获得了几次重大关注◈ღ◈◈。
搜狐科技◈ღ◈◈：最近的图灵奖授予Andrew Barto与Richard Sutton◈ღ◈◈，包括去年杰弗里·辛顿等AI科学家获得了诺贝尔奖◈ღ◈◈，您怎么看？
俞凯◈ღ◈◈：这是巨大的认可◈ღ◈◈，现在认为AI是各行各业都必须要掌握和发展的基础技术◈ღ◈◈。所以图灵奖和诺贝尔奖◈ღ◈◈，本质上都是对AI能够改变一切的认可◈ღ◈◈。
我觉得可以认为AI是用机器对人类智力活动的模仿◈ღ◈◈，本质还是计算◈ღ◈◈。这个背景下◈ღ◈◈，AI会融入一切◈ღ◈◈，包括计算融入一切◈ღ◈◈，网络连接一切◈ღ◈◈，数据表征一切◈ღ◈◈，软件定义一切◈ღ◈◈。
搜狐科技◈ღ◈◈：这两位图灵奖得主的《强化学习》◈ღ◈◈，2019年第二次出版的时候您是中文译者◈ღ◈◈，当时是什么样的机缘去翻译这本书？
俞凯◈ღ◈◈：我是自动化的本硕◈ღ◈◈，后来在英国剑桥待了十年◈ღ◈◈，前五年做语音识别◈ღ◈◈，后五年做对话系统◈ღ◈◈，在世界上最早开始用强化学习框架去做建模对线年我把这个理论带回国◈ღ◈◈，开始做全链路对话系统的研究◈ღ◈◈。
那时我们还在做深度学习◈ღ◈◈，Yann LeCun的CNN是我们最早用在语音识别里◈ღ◈◈。我们明确意识到再往下走◈ღ◈◈，一定是行为主义和深度学习结合◈ღ◈◈，强化学习会有重大推动◈ღ◈◈，但很多人不了解◈ღ◈◈。
所以我们想去翻译《强化学习》◈ღ◈◈，这本书讲的是理论◈ღ◈◈，讲的是基础原则和技术思想◈ღ◈◈。能够成为textbook◈ღ◈◈，就和paper不同◈ღ◈◈，因为它具备基础性◈ღ◈◈，新的东西都是在这上面长出来的◈ღ◈◈。
俞凯◈ღ◈◈：第一j9九游会官网◈ღ◈◈，◈ღ◈◈，不意外◈ღ◈◈，对强化学习这件事能有重大作用◈ღ◈◈，我们一直很坚信◈ღ◈◈。第二◈ღ◈◈，还是要更扎实做好自己的事儿◈ღ◈◈，希望用深度学习和强化学习去做交互对话的突破◈ღ◈◈。第三◈ღ◈◈，希望能让更多的人知道强化学习的作用◈ღ◈◈。
搜狐科技◈ღ◈◈：大语言模型这波◈ღ◈◈，ChatGPT用了RLHF◈ღ◈◈，DeepSeek用了纯强化学习像素岛◈ღ◈◈，您这么看这些突破？
俞凯◈ღ◈◈：OpenAI和DeepSeek的贡献并不是基础理论九游会J9·(中国)真人游戏第一品牌◈ღ◈◈，而是关键技术和工程尺度◈ღ◈◈。RLHF很多人在研究◈ღ◈◈，但因工程尺度没上去◈ღ◈◈，用户体验和影响力远不能和OpenAI相比◈ღ◈◈。
相比OpenAI采用的RLHF◈ღ◈◈，DeepSeek更激进◈ღ◈◈，完全不用SFT◈ღ◈◈，之前的人不太敢想◈ღ◈◈，他们敢试◈ღ◈◈，就试出来了◈ღ◈◈。这更接近于强化学习的本质◈ღ◈◈，它把序列决策过程明确显示出来了◈ღ◈◈。
俞凯◈ღ◈◈：我认为这是必然◈ღ◈◈。监督学习需要标注数据◈ღ◈◈，但数据已经用光◈ღ◈◈。强化学习最重要的特点是◈ღ◈◈，训练过程通过与环境交互不断产生新数据◈ღ◈◈，数据产生和模型优化形成闭环◈ღ◈◈，之前是开环◈ღ◈◈。
强化学习不同于其它机器学习范式◈ღ◈◈，其中特别重要的概念叫Bootstrapping（自举）◈ღ◈◈，就是自己去造数据◈ღ◈◈，由弱变强◈ღ◈◈，都是自己实现◈ღ◈◈，这才是整体的范式变化◈ღ◈◈。
俞凯◈ღ◈◈：强化学习一直都是控制系统的分支◈ღ◈◈，所以机器人是最典型的领域◈ღ◈◈。现在通用机器人非常少◈ღ◈◈，严格来说还没有◈ღ◈◈，它对做推理◈ღ◈◈、做智能体也会有巨大的作用◈ღ◈◈。
现在的智能体◈ღ◈◈，很多还是基于大语言模型◈ღ◈◈。现在看◈ღ◈◈，强化学习不是唯一提升它性能的手段◈ღ◈◈，其它手段如果还没用尽像素岛◈ღ◈◈，可能强化学习还得需要时间才能深度应用◈ღ◈◈。
俞凯◈ღ◈◈：它可以提升机器人对复杂环境的决策和适应能力◈ღ◈◈，很多机器人◈ღ◈◈，屋里面挺好◈ღ◈◈，到野外就出问题◈ღ◈◈。强化学习能让机器人在新环境里◈ღ◈◈，对感受到的情况做及时调整◈ღ◈◈，和有监督系统相比◈ღ◈◈，具备更强的环境适应能力和环境探索能力◈ღ◈◈，能让机器人更稳定◈ღ◈◈、更普适◈ღ◈◈。但从我们的经验来看◈ღ◈◈，宇树等公司一定是传统方法和强化学习的结合◈ღ◈◈，纯强化学习不是那么容易做◈ღ◈◈。
俞凯◈ღ◈◈：强化学习本质是试错学习◈ღ◈◈，在仿真环境里容易做◈ღ◈◈，各种算法已经很好◈ღ◈◈，要解决的是仿真和真实世界如何有效融合◈ღ◈◈，出错了成本很高◈ღ◈◈。所以如何有效和低成本地去做真实世界的强化学习◈ღ◈◈，是个巨大难题◈ღ◈◈。
俞凯◈ღ◈◈：现在强化学习◈ღ◈◈，不只公众认知更大◈ღ◈◈，还让这帮偏控制的人◈ღ◈◈，被计算机领域认可◈ღ◈◈。但我觉得下一步不是说强化学习就一统天下◈ღ◈◈，后深度学习时代是两个融合◈ღ◈◈。
第一个是从黑箱到白箱◈ღ◈◈，深度学习与符号主义的融合◈ღ◈◈，典型就是Diffusion Model（扩散模型）◈ღ◈◈。另一个是开环变闭环◈ღ◈◈，深度学习和强化学习的融合J9九游会登录入口◈ღ◈◈。◈ღ◈◈。从方向上讲◈ღ◈◈，强化学习的思想◈ღ◈◈，深度学习的手段◈ღ◈◈，符号主义的理论◈ღ◈◈，这些一定会交叉融合◈ღ◈◈。
俞凯◈ღ◈◈：这是必要性条件◈ღ◈◈，更重大的条件是◈ღ◈◈，真实场景的融合优化会是AGI真正实现的关键点◈ღ◈◈。AGI的实现◈ღ◈◈，我觉得已经走到了基础理论框架比较明确的阶段◈ღ◈◈，但真正的关键技术和工程尺度问题解决◈ღ◈◈，以及和真实世界融合方面◈ღ◈◈，还有非常大的挑战◈ღ◈◈。
俞凯◈ღ◈◈：现在绝大部分大模型都在解决生成问题◈ღ◈◈，如果要做通用智能◈ღ◈◈，一定会往执行智能走◈ღ◈◈。所以我们强调的是◈ღ◈◈，第一是分布式架构◈ღ◈◈，现在的大模型都是集中式◈ღ◈◈。
第二◈ღ◈◈，可控和可靠◈ღ◈◈，要用在真实场景里◈ღ◈◈，必须解决这些问题◈ღ◈◈。第三◈ღ◈◈，多模态系统化◈ღ◈◈，这是通用人工智能走向物理世界的关键◈ღ◈◈，要让不同模态和真实环境进行交流和反馈◈ღ◈◈。
俞凯◈ღ◈◈：现在应用已经爆发◈ღ◈◈，大模型把热潮带起来了◈ღ◈◈。思必驰一直坚持面向智能硬件交互去做对话式人工智能◈ღ◈◈，在智能汽车◈ღ◈◈、智能IoT◈ღ◈◈、会议办公等领域落地◈ღ◈◈，我们希望通过技术让用户感受到更加自然◈ღ◈◈、流畅的交互体验◈ღ◈◈。
下一个阶段◈ღ◈◈，我认为是从生成智能变成执行智能◈ღ◈◈，或者两者结合◈ღ◈◈，同时一定会软硬结合◈ღ◈◈。在大模型加持下◈ღ◈◈，在云边端结合的趋势下◈ღ◈◈，我们的生活环境◈ღ◈◈，生产环境◈ღ◈◈，一定会被智能化连接在一起◈ღ◈◈。未来的应用◈ღ◈◈，是智能硬件与通用人工智能结合的普世的人机交互和机器与机器交互◈ღ◈◈。
俞凯◈ღ◈◈：我具体研究点会有变化◈ღ◈◈，但从本科自动化◈ღ◈◈，到后来的模式识别◈ღ◈◈，再到做对话系统◈ღ◈◈、深度学习◈ღ◈◈、跨媒体◈ღ◈◈，主线就是要研发一种可以和环境自由交互◈ღ◈◈，能够个性化表达◈ღ◈◈，并且持续进化的信息智能体◈ღ◈◈。思必驰也一直坚持做对话式人工智能◈ღ◈◈，这也没有变过◈ღ◈◈。
搜狐科技◈ღ◈◈：深度学习和强化学习一度都不被看好◈ღ◈◈，后来都逐渐受到认可◈ღ◈◈。这对做基础创新的启示是什么？中国AI层面的创新◈ღ◈◈，应该从哪些方面着手？
俞凯◈ღ◈◈：杰弗里·辛顿和理查德·萨顿都是心理学◈ღ◈◈，还跨了很多学科◈ღ◈◈。真正的理论创新◈ღ◈◈，需要有一些非功利性的目标◈ღ◈◈。有时候我们不注重基础理论◈ღ◈◈，再想去做创新的时候◈ღ◈◈，思维就很狭窄◈ღ◈◈。如果想做基础理论创新◈ღ◈◈，就必须重视基础学科和学科交叉融合◈ღ◈◈。
同时◈ღ◈◈，要鼓励去做火种般的独立探索◈ღ◈◈，相信会有不同的东西会出来◈ღ◈◈，资源要分配在不同的路线上◈ღ◈◈。参与的人◈ღ◈◈，也要做好可能很长时间都没有结果的准备◈ღ◈◈，要有很强的长期探索的精神◈ღ◈◈。返回搜狐九游会J9·(中国)真人游戏第一品牌◈ღ◈◈，查看更多
