人工智能与数据科学专题：AlphaGo到GPT中RLHF的进化：深度强化学习与图神经网络在结合用户意图以优化模型输出中的原理研究【大学组】

• 适合年级 (Grade): 大学生及以上

• 适合专业 (Major): 计算机科学、人工智能、数据科学、电子与计算机工程等专业，软件工程、自动化等相关专业或者希望掌握强化学习的学生；对人工智能、大数据以及交叉学科和方向感兴趣的学生；

• 学生需要具备线性代数及概率论与数理统计基础，至少会使用一门编程语言实现神经网络，有过强化学习开发经验的申请者优先；

• 建议选修: 程序设计与代码实现

Pietro导师现任剑桥大学计算机科学与技术系终身正教授，意大利国家认定Top100科学家， H-index64，被引用次数35000+。教授2021年连中三篇计算机顶会ICML，其论文还曾发表在包括世界级学术期刊 《Nature》。导师持有欧洲学习和智能系统实验室（Ellis；欧洲大型跨国人工智能研究所，目前拥有千位全球顶尖计算机工程师、数学家和其他领域科学家，旨在重构欧洲人工智能前沿研究）席位、剑桥大学大数据研究指导委员会席位。Pietro导师的研究兴趣为人工智能图神经网络建模，在国际知名学术期刊发表论文多篇，曾荣获欧盟委员会未来与新兴技术（FET；迄今欧盟规模最大、资助力度最强的科研资助项目之一）会展三等奖。

Dr.Pietro is a Full Professor at the Department of Computer Science and Technology of the University of Cambridge and a member of the Artificial Intelligence group. Prof. Pietro is also a member of the Cambridge Centre for AI in Medicine. His research interest focuses on developing Artificial Intelligence and Computational Biology models to understand disease complexity and address personalized and precision medicine. The current focus is on Graph Neural Network modeling.

任职学校

剑桥大学建校于1209年，是世界范围内历史最为悠久的大学之一，英国Top2名校，G5名校之一。剑桥大学享有世界声誉，在英国社会和高等教育系统中具有极其重要的地位，同时具有广泛的世界性影响。许多青年学子都以到剑桥大学深造为理想。

近年来，人工智能数据科学技术不断突破与发展。卷积神经网络CNN开启了深度学习新篇章，推动计算机视觉落地自动化驾驶等诸多领域；循环神经网络RNN推动了自然语言处理，使得机器翻译、智能语音技术日趋成熟；深度学习之上，强化学习图神经网络GNN的崛起正在深度赋能数据挖掘，将成为企业场景拓展、数据整合、行业效率飞跃的关键。项目将聚焦强化学习，特别是图神经网络GNN这一构筑未来数字生态的核心数据科学技术。

项目内容涉及强化学习核心理论和技能，具体包括遗传算法、强化学习框架、Q-learning、行动者-批评（actor-critic；AC）模型、马尔可夫决策过程、优化控制、图神经网络（graph neural networks; GNN）、自动机器学习（Auto ML）等。学生通过项目了解如何开发基于强化学习的生产力软件，在结束时提交项目个性化研究课题报告，进行成果展示。
个性化研究课题参考：
强化学习在博弈论中的应用：类alpha算法开发
利用经验留存解决强化学习所需样本太多问题的可行性分析
强化学习中的机器奖励设置方法迭代
为强化学习过拟合的特定场景重新建模的自动过程研究
具有精确尺度估计的动作-评价网络结构与强化学习优势函数

• 强化学习：项目将在本周聚焦遗传算法和强化学习框架。 Introduction to reinforcement learning

• 环境：强化学习由智能体和环境两部分构成。项目将在本周探讨离策略、无模型强化学习算法 Q-learning、行动者-批评（actor-critic；AC）模型、马尔可夫决策过程等。Environment

• 优化：项目将在本周深入学习强化学习与优化控制。 Optimization

• 集成与控制 Integration and Control

• 集成：项目将在本周进一步探讨图神经网络（graph neural networks; GNN）、自动机器学习（Auto ML）等。 Integration

• 项目回顾与成果展示 Program Review and Presentation

• 论文辅导 Project Deliverables Tutoring

• 4周在线小组科研学习+2周不限时论文指导学习 共125课时

• 项目报告

• 优秀学员获主导师Reference Letter

• EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等级别索引国际会议全文投递与发表指导（可用于申请）

• 结业证书

• 成绩单