授课语言
中文
早申请费用
21,580
位置
上海
X ACADEMY
全球开拓者峰会
-
2025.07.23 - 08.05
主修课 X-Core
主修课 X-Core
主修课 X-Core
人工智能前沿技术课程（多模态学习方向）
Artificial Intelligence and Emerging Technologies (Multimodal Learning)
COURSE INTRO
课程简介 01
COURSE INTRO
课程简介 01
随着人类生活数据的丰富和人工智能技术的飞跃发展，我们正迈入多模态智能时代的黎明——它让 AI 跨越单一感官，综合语音、语言、视觉等处理多种信息，做出更「智能」的判断。不论是分析文章，还是“看到”图中的情绪，亦或是通过声音探测环境变化，更深入地理解复杂情境，作出决策，AI 都将能做到。而在未来，AI 能否真正成为人类跨领域洞察和决策的有力助手？或是发展出超越人类的综合能力？多模态技术为我们留有巨大的想象与实践空间。
「TechX 人工智能前沿技术课程（多模态学习方向）」将带你从多模态数据处理的基础入手，逐步揭开多模态模型的神秘面纱。你将学习如何利用 Transformer 架构处理跨领域的数据，探索像 OpenAI o1 的大型多模态模型的内部原理与前沿应用。通过项目实践，如构建能够阅读书籍并同时分析插图的 AI，或者开发结合声音、视觉与文本的智能交互系统，你将掌握多模态技术的现实应用，感受科技进步带来的无限可能。
*「TechX 人工智能前沿技术课程」将涵盖人工智能基本知识与数据处理技术并在此基础上根据时下热门前沿领域分为三个侧重方向，分别为计算机视觉方向、数据科学方向、多模态学习方向。在 X-Portal 上进行申请并选择课程志愿时，你只需选择「TechX 人工智能前沿技术课程」作为第一志愿。在被正式录取并确认出席后，你将收到一份课程意向与基础调查问卷用于进一步收集你的个人兴趣与专业背景，以确定最终的课程方向。
随着人类生活数据的丰富和人工智能技术的飞跃发展，我们正迈入多模态智能时代的黎明——它让 AI 跨越单一感官，综合语音、语言、视觉等处理多种信息，做出更「智能」的判断。不论是分析文章，还是“看到”图中的情绪，亦或是通过声音探测环境变化，更深入地理解复杂情境，作出决策，AI 都将能做到。而在未来，AI 能否真正成为人类跨领域洞察和决策的有力助手？或是发展出超越人类的综合能力？多模态技术为我们留有巨大的想象与实践空间。
「TechX 人工智能前沿技术课程（多模态学习方向）」将带你从多模态数据处理的基础入手，逐步揭开多模态模型的神秘面纱。你将学习如何利用 Transformer 架构处理跨领域的数据，探索像 OpenAI o1 的大型多模态模型的内部原理与前沿应用。通过项目实践，如构建能够阅读书籍并同时分析插图的 AI，或者开发结合声音、视觉与文本的智能交互系统，你将掌握多模态技术的现实应用，感受科技进步带来的无限可能。
*「TechX 人工智能前沿技术课程」将涵盖人工智能基本知识与数据处理技术并在此基础上根据时下热门前沿领域分为三个侧重方向，分别为计算机视觉方向、数据科学方向、多模态学习方向。在 X-Portal 上进行申请并选择课程志愿时，你只需选择「TechX 人工智能前沿技术课程」作为第一志愿。在被正式录取并确认出席后，你将收到一份课程意向与基础调查问卷用于进一步收集你的个人兴趣与专业背景，以确定最终的课程方向。
COURSE OUTCOME
课程产出 02
COURSE OUTCOME
课程产出 02
课程结束时，你将有机会运用所学，完成以下其中一种类型的产出，例如：
设计一个多模态健康监测平台，将健康数据、影像和文本（医生笔记）整合，为医生提供全面的诊断支持，提升诊疗的准确性和效率
创建一个基于多模态数据的灾害应急响应系统，通过整合地理数据、天气信息和社交媒体内容，实现实时灾害监控和预测，帮助政府和组织更迅速地做出应对决策
……
*最终产出的类型与内容，以探索者在参与顶点项目 X-Capstone 后的成品为准
课程结束时，你将有机会运用所学，完成以下其中一种类型的产出，例如：
设计一个多模态健康监测平台，将健康数据、影像和文本（医生笔记）整合，为医生提供全面的诊断支持，提升诊疗的准确性和效率
创建一个基于多模态数据的灾害应急响应系统，通过整合地理数据、天气信息和社交媒体内容，实现实时灾害监控和预测，帮助政府和组织更迅速地做出应对决策
……
*最终产出的类型与内容，以探索者在参与顶点项目 X-Capstone 后的成品为准
POTENTIAL OPPORTUNITIES
发展方向 03
POTENTIAL OPPORTUNITIES
发展方向 03
AI 研究员、多模态工程师、自然语言处理专家
AI 研究员、多模态工程师、自然语言处理专家
COURSE CONTENTS
课程内容 04
COURSE CONTENTS
课程内容 04
数据预处理
多模态数据的处理技术，如图像识别、文本分析和语音识别
多模态系统的设计
数据预处理
多模态数据的处理技术，如图像识别、文本分析和语音识别
多模态系统的设计
PREREQUISITES
前置要求 05
PREREQUISITES
前置要求 05
线性代数，微积分，基础的统计知识，基础 Python 编程知识，对机器学习和深度学习有一定的了解。
*预习阶段导师与学术领袖将帮助你完成前置要求的学习
线性代数，微积分，基础的统计知识，基础 Python 编程知识，对机器学习和深度学习有一定的了解。
*预习阶段导师与学术领袖将帮助你完成前置要求的学习
"XA 给我自己带来了什么， CS 素养的提高自是不必说，我更感谢的是，能让我遇到最顶尖最优秀的一批同龄人。我见到了活生生的 MIT，CIT 学生，请教了无所不能 debug 的助教，也收获了一堆桌游好友。或许说自己的梦想是改变世界是会被人笑话的，但 XA 给了我把梦想化为现实的底气。
这条路好长，去的地方有诗和理想。昨天留下的一滩泪和汗，造就现在的我越倔强越勇敢。这是 XA 带给我教会我的：我们永远都还可以更勇敢一点。"
Haiyi Jin 探索者
复旦大学
"XA 给我自己带来了什么， CS 素养的提高自是不必说，我更感谢的是，能让我遇到最顶尖最优秀的一批同龄人。我见到了活生生的 MIT，CIT 学生，请教了无所不能 debug 的助教，也收获了一堆桌游好友。或许说自己的梦想是改变世界是会被人笑话的，但 XA 给了我把梦想化为现实的底气。
这条路好长，去的地方有诗和理想。昨天留下的一滩泪和汗，造就现在的我越倔强越勇敢。这是 XA 带给我教会我的：我们永远都还可以更勇敢一点。"
Haiyi Jin 探索者
复旦大学
"XA 给我自己带来了什么， CS 素养的提高自是不必说，我更感谢的是，能让我遇到最顶尖最优秀的一批同龄人。我见到了活生生的 MIT，CIT 学生，请教了无所不能 debug 的助教，也收获了一堆桌游好友。或许说自己的梦想是改变世界是会被人笑话的，但 XA 给了我把梦想化为现实的底气。
这条路好长，去的地方有诗和理想。昨天留下的一滩泪和汗，造就现在的我越倔强越勇敢。这是 XA 带给我教会我的：我们永远都还可以更勇敢一点。"
复旦大学
MENTORS
往届导师 06
MENTORS
课程导师 06
蒋承越 Chengyue
2021 - 2022 学术导师
上海科技大学 计算机博士在读
研究方向为自然语言处理，主要研究知识表示及符号化知识与神经网络的融合。多篇科研成果发表在顶级学术会议 EMNLP 2020 (高分) , findings of EMNLP 2020 以及 CoNLL 2019 上。曾经连续三年担任 Artificial Intelligence 课程的助教，有丰富的 Hackathon 以及科创比赛经验，曾获挑战杯 2019，Saike 2017 Hackathon 的一等奖。参与发明多项技术专利 (pending)，并且即将前往阿里 DAMO Academy 进行科研实习。
蒋承越 Chengyue
2021 - 2022 学术导师
上海科技大学 计算机博士在读
研究方向为自然语言处理，主要研究知识表示及符号化知识与神经网络的融合。多篇科研成果发表在顶级学术会议 EMNLP 2020 (高分) , findings of EMNLP 2020 以及 CoNLL 2019 上。曾经连续三年担任 Artificial Intelligence 课程的助教，有丰富的 Hackathon 以及科创比赛经验，曾获挑战杯 2019，Saike 2017 Hackathon 的一等奖。参与发明多项技术专利 (pending)，并且即将前往阿里 DAMO Academy 进行科研实习。
ACADEMIC LEADS
往届助教 07
ACADEMIC LEADS
课程助教 07
沈阳艺 Yangyi
2022 学术助教
斯坦福大学 符号系统专业
对语言学、自然语言处理有强烈热忱。曾于国际语言学奥赛中国区排名第一，入选中国队并获亚太国际语奥团队第一，入选中国语奥学术组。其组建的 image captioning 队伍曾入选 Iowa SSTP lab，YSI，Young Aurora，为视障群体建造红绿灯自动识别器，并搭建博物馆自动化国画题注的模型。
陈境远 Patric
2022 学术助教
罗切斯特大学计算机科学 & 脑认知科学双专业
罗切斯特大学罗杰波组本科研究员，主要研究方向为视频理解、目标检测、姿态估计、多模态分析等。前腾讯 AI Lab 实习生，从事雪豹智能检测平台工作。参加 NVIDIA&CVPR 联合举办 AICIty Challenge 获全球第三，参加 ICCV VisDrone Crowd Counting 赛道获全球第二（MSE 指标第二，MAE 指标第一）。
张洪蛟 Heather
2024 学术助教
康奈尔大学 科技信息系统专业连接媒体方向
本科就读于纽约大学数据科学专业，研究生就读于康奈尔大学科技信息系统专业连接媒体方向。目前在研二 gap 期间，是一名 BCG 的 Freelance 数据科学家，负责用大语言模型为医药客户做知识库问答小程序开发。曾经在第四范式负责百胜集团新品客户反馈、HR 问答系统知识库等 AIGC 场景应用开发和分析。前端后端数据库等等什么都会一些。喜欢哲学，喜欢电影，喜欢研究好吃的！
陈舒羽 Silvia
2024 学术助教
伊利诺伊香槟分校 计算机与数学专业
目前在本校商院附属的 Disruption Lab 担任 SWE， 主要负责给初创公司用向量数据库和标签生成做搜索系统。 在 Prof. Matthew Caesar 的研究项目 PeopleWeave 里担任研究助理， 负责用大语言模型提升网页对话助手的表现。 下学期即将在国家超算中心（NCSA@illinois)的 SPIN 项目实习。同时也是 Girls Who Code 的一名助教， 主要内容是教小孩姐用 scratch 做养龙游戏。 古典音乐狂热爱好者， 最喜欢的是柴小协。
沈阳艺 Yangyi
2022 学术助教
斯坦福大学 符号系统专业
对语言学、自然语言处理有强烈热忱。曾于国际语言学奥赛中国区排名第一，入选中国队并获亚太国际语奥团队第一，入选中国语奥学术组。其组建的 image captioning 队伍曾入选 Iowa SSTP lab，YSI，Young Aurora，为视障群体建造红绿灯自动识别器，并搭建博物馆自动化国画题注的模型。
陈境远 Patric
2022 学术助教
罗切斯特大学计算机科学 & 脑认知科学双专业
罗切斯特大学罗杰波组本科研究员，主要研究方向为视频理解、目标检测、姿态估计、多模态分析等。前腾讯 AI Lab 实习生，从事雪豹智能检测平台工作。参加 NVIDIA&CVPR 联合举办 AICIty Challenge 获全球第三，参加 ICCV VisDrone Crowd Counting 赛道获全球第二（MSE 指标第二，MAE 指标第一）。
张洪蛟 Heather
2024 学术助教
康奈尔大学 科技信息系统专业连接媒体方向
本科就读于纽约大学数据科学专业，研究生就读于康奈尔大学科技信息系统专业连接媒体方向。目前在研二 gap 期间，是一名 BCG 的 Freelance 数据科学家，负责用大语言模型为医药客户做知识库问答小程序开发。曾经在第四范式负责百胜集团新品客户反馈、HR 问答系统知识库等 AIGC 场景应用开发和分析。前端后端数据库等等什么都会一些。喜欢哲学，喜欢电影，喜欢研究好吃的！
陈舒羽 Silvia
2024 学术助教
伊利诺伊香槟分校 计算机与数学专业
目前在本校商院附属的 Disruption Lab 担任 SWE， 主要负责给初创公司用向量数据库和标签生成做搜索系统。 在 Prof. Matthew Caesar 的研究项目 PeopleWeave 里担任研究助理， 负责用大语言模型提升网页对话助手的表现。 下学期即将在国家超算中心（NCSA@illinois)的 SPIN 项目实习。同时也是 Girls Who Code 的一名助教， 主要内容是教小孩姐用 scratch 做养龙游戏。 古典音乐狂热爱好者， 最喜欢的是柴小协。
授课语言
中文
当前课程费用
21,580
位置
上海
X ACADEMY
全球开拓者峰会
-
2024.07.25 - 08.06
位置
上海
授课语言
中文
当前课程费用
21,580
X ACADEMY
全球开拓者峰会
-
2024.07.25 - 08.07
常见问题 FAQ
主修课师生比怎么样？
主修课师生比怎么样？
主修课师生比怎么样？
听说 X ACADEMY 的主修课非常硬核，开课时会不会跟不上？
听说 X ACADEMY 的主修课非常硬核，开课时会不会跟不上？
听说 X ACADEMY 的主修课非常硬核，开课时会不会跟不上？
在 X ACADEMY 我只能学习一门主修课程吗？
在 X ACADEMY 我只能学习一门主修课程吗？
在 X ACADEMY 我只能学习一门主修课程吗？
联系我们 Contact Us
© 2024 | 上海得斯教育科技有限公司 | 成立于 2016. | 沪ICP备2021004001号-6
Privacy Policy
Cookies
Terms & Conditions
OUR CIVILIZATION WAS BUILT ON TECHNOLOGY. OUR CIVILIZATION IS BUILT ON TECHNOLOGY. TECHNOLOGY IS THE GLORY OF HUMAN AMBITION AND ACHIEVEMENT, THE SPEARHEAD OF PROGRESS, AND THE REALIZATION OF OUR POTENTIAL. FOR HUNDREDS OF YEARS, WE PROPERLY GLORIFIED THIS – UNTIL RECENTLY. WE, AT X ACADEMY, ARE HERE TO REVITALIZE THAT SPIRIT. TO US, THE FUTURE IS A CANVAS OF VAST POSSIBILITY, PAINTED WITH THE BRUSHES OF INNOVATION, CREATIVITY, AND OPTIMISM. WE BELIEVE IN A FUTURE WHERE TECHNOLOGY CONTINUES TO BE THE BACKBONE OF ADVANCEMENT, NOT JUST IN MATERIAL TERMS BUT AS A MEANS TO ELEVATE HUMAN EXPERIENCE AND CONSCIOUSNESS. WE ARE THE FUTURE OPTIMISTS, THE DREAMERS, THE MAKERS, AND THE DOERS. WE STAND READY TO COLLABORATE, TO INNOVATE, AND TO BUILD A BETTER TOMORROW WITH YOU. JOIN US, AS WE EMBARK ON THIS JOURNEY TO IGNITE THE FLAMES OF PROGRESS AND TO CHERISH THE TECHNOLOGY THAT MAKES IT POSSIBLE. IT IS TIME, ONCE AGAIN, TO RAISE THE TECHNOLOGY FLAG. IT IS TIME TO BE TECHNO-OPTIMISTS. WITH X ACADEMY, LET'S BUILD A BRIGHTER FUTURE TOGETHER.
联系我们 Contact Us
© 2024 | 上海得斯教育科技有限公司 | 成立于 2016. |
Privacy Policy
Cookies
Terms & Conditions
OUR CIVILIZATION WAS BUILT ON TECHNOLOGY. OUR CIVILIZATION IS BUILT ON TECHNOLOGY. TECHNOLOGY IS THE GLORY OF HUMAN AMBITION AND ACHIEVEMENT, THE SPEARHEAD OF PROGRESS, AND THE REALIZATION OF OUR POTENTIAL. FOR HUNDREDS OF YEARS, WE PROPERLY GLORIFIED THIS – UNTIL RECENTLY. WE, AT X ACADEMY, ARE HERE TO REVITALIZE THAT SPIRIT. TO US, THE FUTURE IS A CANVAS OF VAST POSSIBILITY, PAINTED WITH THE BRUSHES OF INNOVATION, CREATIVITY, AND OPTIMISM. WE BELIEVE IN A FUTURE WHERE TECHNOLOGY CONTINUES TO BE THE BACKBONE OF ADVANCEMENT, NOT JUST IN MATERIAL TERMS BUT AS A MEANS TO ELEVATE HUMAN EXPERIENCE AND CONSCIOUSNESS. WE ARE THE FUTURE OPTIMISTS, THE DREAMERS, THE MAKERS, AND THE DOERS. WE STAND READY TO COLLABORATE, TO INNOVATE, AND TO BUILD A BETTER TOMORROW WITH YOU. JOIN US, AS WE EMBARK ON THIS JOURNEY TO IGNITE THE FLAMES OF PROGRESS AND TO CHERISH THE TECHNOLOGY THAT MAKES IT POSSIBLE. IT IS TIME, ONCE AGAIN, TO RAISE THE TECHNOLOGY FLAG. IT IS TIME TO BE TECHNO-OPTIMISTS. WITH X ACADEMY, LET'S BUILD A BRIGHTER FUTURE TOGETHER.
联系我们 Contact Us
© 2024 | 上海得斯教育科技有限公司 | 成立于 2016. |
Privacy Policy
Cookies
Terms & Conditions
OUR CIVILIZATION WAS BUILT ON TECHNOLOGY. OUR CIVILIZATION IS BUILT ON TECHNOLOGY. TECHNOLOGY IS THE GLORY OF HUMAN AMBITION AND ACHIEVEMENT, THE SPEARHEAD OF PROGRESS, AND THE REALIZATION OF OUR POTENTIAL. FOR HUNDREDS OF YEARS, WE PROPERLY GLORIFIED THIS – UNTIL RECENTLY. WE, AT X ACADEMY, ARE HERE TO REVITALIZE THAT SPIRIT. TO US, THE FUTURE IS A CANVAS OF VAST POSSIBILITY, PAINTED WITH THE BRUSHES OF INNOVATION, CREATIVITY, AND OPTIMISM. WE BELIEVE IN A FUTURE WHERE TECHNOLOGY CONTINUES TO BE THE BACKBONE OF ADVANCEMENT, NOT JUST IN MATERIAL TERMS BUT AS A MEANS TO ELEVATE HUMAN EXPERIENCE AND CONSCIOUSNESS. WE ARE THE FUTURE OPTIMISTS, THE DREAMERS, THE MAKERS, AND THE DOERS. WE STAND READY TO COLLABORATE, TO INNOVATE, AND TO BUILD A BETTER TOMORROW WITH YOU. JOIN US, AS WE EMBARK ON THIS JOURNEY TO IGNITE THE FLAMES OF PROGRESS AND TO CHERISH THE TECHNOLOGY THAT MAKES IT POSSIBLE. IT IS TIME, ONCE AGAIN, TO RAISE THE TECHNOLOGY FLAG. IT IS TIME TO BE TECHNO-OPTIMISTS. WITH X ACADEMY, LET'S BUILD A BRIGHTER FUTURE TOGETHER.