7月6日，2026强化学习暑期学校在上海创智学院正式开营授课，特邀2024年图灵奖得主、强化学习领域奠基人之一 Richard S. Sutton 教授开讲。为期三周的课程吸引了近百名来自海内外各大高校、覆盖多国籍、多研究方向的青年学子。开营以来，紧凑充实的课程、纯粹求真的学术氛围和平等深入的师生交流，让学员们在沉浸式学习中夯实理论基础、锤炼科研思维、拓宽学术视野。
一、课堂之旅：从第一性原理出发理解强化学习
Sutton 教授的课程并未从某个热门算法切入，而是首先从根本问题追问：“我们究竟想理解怎样的智能？”他从 AI 的第一性原理、“苦涩教训” 和函数逼近的重要性讲起，逐步进入监督学习、Tile Coding、函数逼近条件下的控制、平均回报、离策略预测、“致命三角” 以及线性函数逼近理论等核心内容。这样的课程内容设置使每一个具体方法都被放回更大的研究脉络之中：为什么真实世界必须依赖近似？为什么控制比预测更加困难？什么样的方法才能随着经验和计算能力持续扩展？
课堂节奏紧凑，但氛围开放而松弛。来自机器人控制、持续学习、世界模型、表征学习等不同方向的学员，在共同的强化学习语言中不断建立连接。对学生而言，这不仅是一次知识更新，更是一次重新校准研究坐标的过程。
二、实训记录：在代码与项目协作中共同学习
理论授课之外，本次暑校设置了贯穿三周的团队科研项目实训，形成 “理论精讲 + 落地实践” 的学习闭环，让学员在有限时间内，亲历从提问、实现到面对失败、解释结果的完整研究过程。大家1—3人为一组，围绕强化学习核心问题开展项目，同时保留具身与仿真强化学习、大语言模型与智能体强化学习等方向的探索空间。项目选题包括离策略学习的稳定性、平均回报等。实践中同学们可以使用随机游走、Gridworld 等环境，从规模较小但问题清晰的实验入手，逐步推进。课程强调，大作业的重点不只是追求更高分数，而是要说清楚所研究的强化学习问题，并对实验结果或失败经验作出诚实、清晰的解释。
各组从问题与假设出发，需先完成简短提案，明确环境、基线、评价指标和计算需求；随后跑通最小实验，并选择一两个扩展或消融进行观察。组内成员在问题设定、代码实现、实验记录和结果解释等环节分工协作，共同排查异常曲线、比较不同设置、讨论结果背后的含义。最终成果将在Poster Session中向Sutton教授及师生展示。助教团队则在选题讨论、代码调试、计算平台、实验复现和海报准备等方面提供支持。
三、Office Hour：在深入追问中理解问题本质
Office Hour 是本次暑校中备受关注的环节，为师生搭建了一对一、高深度的学术对话平台。同学们围绕规划与直接学习、机器人部署、状态表征、子问题与 options、评价标准和连续时间建模等角度展开提问。而Sutton 教授常常先反过来追问：“智能体在部署阶段还会继续学习吗？”“奖励由谁定义？”“内部模型真的准确吗？”“你改变的是环境提供的观测，还是智能体自身的状态表征？”
这些追问促使提问者重新检查自己的假设，使讨论逐渐接近问题的第一性原理。例如，谈及机器人鲁棒性，他首先强调的并非增加更多离线数据，而是智能体能否在真实环境中持续学习并自评；论及planning，则从模型误差出发厘清其优势与局限。学员们不仅获得答案，更学习如何将模糊的研究困惑转化为清晰的问题。每场交流不止传递知识，更重在科研思维的传授。Sutton教授谦和真诚、平易近人，无论学员的问题基础深浅、研究方向差异大小，他都耐心倾听、坦诚作答，直击核心矛盾，拒绝晦涩空泛的套话。对于尚无明确答案的问题，他也会坦率地说明这是开放问题，或者指出现有研究还不足以支持确定结论。这种对“已知”与“未知”的清晰区分，成为一堂生动的科研示范课。
四、课外拾光：同行盛夏，相知共进
为帮助学员快速融入、建立联结，暑校期间一场别开生面的“电子词云 + Speed Meeting”破冰活动令人印象深刻。学员们扫码依次回答三个问题：“最近一次成就感是什么？”“我为何而来？”“最期待的收获是什么？”。答案实时汇聚成词云投射于大屏，直观呈现大家的共同心声，迅速拉近距离。随后的Speed Meeting环节中，学员们轮换交流，畅谈学术方向与生活趣事，轻松打破陌生隔阂，结识志同道合的同行者。
为帮助学员全方位了解学院的“研创学”平台与科研环境，暑校还特别组织了参观活动，向学员们详细介绍了学院空间布局、设计理念、初心使命及招生培养体系。学员们围绕招生培养、科研平台建设等问题积极交流，对学院浓厚的科研氛围和完善的科研保障体系有了更直观的认识。
五、学员心声：研学沉淀，收获成长
本科二年级时，我就偶然知道了 Richard Sutton——"强化学习之父"，以及他所在的 Alberta 大学。当时有个交流访问项目，可惜最终没能成行。谁曾想，几年后世界线在此交汇，我竟坐到了 Rich 的课堂上。Rich 尤其强调两点："Keep your eyes on the prize" 和 "meta engineering"。研究时，要始终盯住最核心的问题，不被其他事情带跑——其实几乎所有事情都是干扰，关键在于你能不能在当下分辨出来。设计学习方法时，要去设计元学习方法，而非为某个特定领域手写知识或特征。回头去看，你会发现：真正经得起时间考验的工作，几乎都符合这两条。这也为我后续的研究指了方向。非常感谢学院创造的机会，也感谢 Rich 的授课与指导。希望我到 Rich 这个年纪时，仍能保持这样的活跃与开放，追问不休。
——上海创智学院 葛馨木
这次Sutton教授的强化学习暑期学校对我而言，既是一次系统学习强化学习的机会，也是一段宝贵的助教实践。从第一性原理开始，课程内容层层推进，让同学们更加清楚地看到不同概念之间的联系。作为助教，我在协助同学调试代码、讨论方案和推进项目的过程中，也不断检查并完善自己的理解。与助教团队和学员们共同工作的经历，进一步锻炼了我的表达、协作与组织能力，也让我更加重视教学相长的意义。全程参与教授的 Office Hour，让我有很多机会与 Sutton 教授交流。Sutton 教授本人十分平易近人，面对同学的不同问题，他总是回答得坦诚而直接。这些经历让我意识到，好的研究不仅需要复杂的方法，更需要从第一性原理出发，把问题的前提和目标真正想清楚。今后，我也希望将这种思考方式带入自己的研究中。
——上海创智学院 白碧哲
在本次的强化学习暑校中，我在与Sutton教授的沟通交流中收获了许多关于开展人工智能领域研究工作的高屋建瓴的指导。在这一过程中，我明白了在一些教授提出的看起来与主流研究路径相左，甚至显得有些“逆势而动”的主张背后，是Sutton教授对于“理解智能”这一目标的坚守。让我印象深刻的是，即使面对的是一些尚无长期研究经验的学生，即使我们有时对于自己的想法并没有很充分的思想或事实支撑，教授依然愿意十分认真地考虑每个人向他提出的问题，在深思熟虑后给予回应。此外，在本次学习过程中，更让我激动的是我得以与来自各地的人工智能领域研究者相识，收获宝贵的友谊和多样的见解，尤其是让我对于具身智能、大规模世界模型等领域的现状和发展路径有了进一步的认识。
——香港科技大学 丁嘉乐
通过这次暑期学校的学习，我有幸聆听了 Sutton 教授对强化学习若干核心话题的见解，这极大地拓宽了我的研究思路，令我受益匪浅。在项目方面，出于对 Agentic RL 的浓厚兴趣，我选择了 LLM/Agentic RL 方向，并幸运地招募到三位认真负责的队友。我们一同制定了详细的研究提案，开展了扎实的工程实践，团队分工明确，合作十分愉快，令我难忘。这段暑校经历让我收获颇丰。我本科主修密码学，研究生转向人工智能领域后，一直坚持自学强化学习相关课程。能与志同道合的同学共同完成一个项目，无疑使我在 RL 方向进步神速，也让我亲身体验到科研协作的乐趣。此次合作深化了我对 Agentic RL 的认知。未来，我将继续深耕 Agentic RL，争取在这一前沿领域做出自己的贡献，并不断前行。
——上海交通大学 李婕
此次参加强化学习暑校，我深感荣幸。Rich Sutton教授关于Alberta Plan的系统阐述，使我得以从构建通用智能的宏观视角重新审视持续学习的研究范式，深刻认识到智能体应立足于无缝、连续的普通经验中实现自主进化，这为课题组在预测性状态表示（PSR）方向的探索确立了坚实的理论基点。团队成员联合撰写项目提案，这种高强度的协作经历，极大提升了科研沟通与逻辑思辨能力，让我切实体会到高水平研究离不开基于证据与理性的深度配合。最为关键的收获在于科研思维的根本性转变。在Sutton教授“雄心与谦逊”治学态度的感召下，我尝试以更长远的眼光审视问题本质。带着这份对第一性原理的敬畏，我也对接下来的课程充满期待，希望能进一步夯实对价值函数与预测学习的理论基础，把这几日建立的思维框架，转化为后续深入理解算法内核的扎实动力。
——悉尼大学 胡尚隆
A week and a half into the summer school, my experience has been truly amazing. I had the opportunity to listen to Richard Sutton and speak with him personally. His perspectives on intelligent systems and their development have significantly transformed the way I think about reinforcement learning. The lectures and discussions have already inspired several research ideas that I would like to explore further.The facilities provided by SII are excellent, and all the staff members have been kind, welcoming, and helpful from the very beginning. The summer school curriculum is also very thoughtfully designed. I learn something new every day during the lectures, and I am confident that these insights will be valuable in my future studies and research.I have also met many wonderful people here, and the school environment has made me feel at home. We have had engaging discussions about research projects, ideas, and life in general. Outside the lectures, I have enjoyed exploring different places, sightseeing, and having dinner with my new friends.I am truly glad that I decided to attend the summer school, and I know that I will cherish the experiences, friendships, and memories I have made here.
——Nanyang Technological University (NTU Singapore) Jayant Teotia
六、精彩预告：蓄力深耕，再启新程
课程即将进入更精彩的下半程：
●专题授课：Sutton 教授将继续带来Lecture，涵盖Eligibility Traces、True Online TD(λ)等核心主题。
●项目攻坚：安排小组专属项目时间，TA驻场提供技术支持与Q&A。
●Office Hour ：持续开放，延续高质量深度对话，助力学术点拨。
●项目展示：各组以学术海报集中呈现研究成果，互相切磋。
●结业收官：综合考试检验学习成果，为三周沉浸式学习画上圆满句号。
课程干货满满、挑战与成长并行。期待学员们继续保持好奇与专注，共同走完这段从第一性原理出发的强化学习旅程。
