DS80-数据科学和大数据分析入门

　　导师介绍

　　MHX

　　ViaX科研教育理工科导师

　　美国加州大学伯克利分校 全额奖学金博士

　　美国加州大学伯克利分校 研究生导师

　　累计发表学术论文7篇，国家专利一项，国家软件著作权6项

　　科研指导人

　　ZQ

　　ViaX科研教育理工科导师

　　劳伦斯伯克利国家实验室研究员

　　伯克利地理数据科学实验室Group leader

　　13篇 SCI 索引文章，技术专利1项，担当多个重要奖项和研究经费的评委

　　2017年荣获美国地学最权威地学会AGU亮点研究奖

　　实验室介绍

　　劳伦斯伯克利国家实验室（Lawrence Berkeley National Laboratory）

　　美国最杰出的国家实验室之一

　　与实验室相关的诺贝尔奖获得者13位

　　与实验室相关的美国国家科学院院士70位、美国国家工程院院士18位

　　与实验室相关的获得科研领域国际最高终身成就奖-美国国家科学奖章科学家13位

　　研究领域包括物理学、生命科学、化学、能源效率、回旋加速器、先进材料、粒子加速器、检测器，工程学、计算机科学等

　　课题介绍

　　科研课题：诺贝尔和平奖IPCC项目

　　科研工作：

　　基于文章“Yan, X. H., Boyer, T., Trenberth, K., Karl, T. R., Xie, S. P., Nieves, V., ... & Roemmich, D. (2016). The global warming hiatus: Slowdown or redistribution?. Earth‘s Future, 4(11), 472-482.” 完成全球气候变化原始数据处理，数据描述，统计检验，建模拟合。

　　学前要求

　　基础课程，不要求大量编程经验或数理基础，最好对数据科学感兴趣

　　适合人群

　　有意申请数据科学、计算机科学、统计学、电子工程、环境科学等学科方向的学生

　　对数据科学、大数据分析等内容感兴趣的学生

　　希望通过实际操作来掌握数据科学实战经验的学生

　　课程学什么？

　　学习数据科学、大数据分析方法手段的理论知识

　　学习处理真实世界的数据集

　　实战演练：完成劳伦斯伯克利实验室科研指导人布置的诺贝尔和平奖IPCC科研项目

　　为什么学数据科学？

　　更深刻地认识充斥每个人生活的大数据现象

　　互联网时代人人都应掌握的基础知识

　　大数据分析先关领域从业人员的必备干货

　　为什么选这门课？

　　（1）本课程让学生在劳伦斯伯克利实验室导师的指导下，完成相关数据领域最前沿的科研课题，极大的丰富自身科研经历

　　（2）通过学习本课程，学生可以掌握分析数据的方法，从而学会用统计学知识对海量数据做出判断、得出正确结论

　　（3）本课程可以帮助未来想从事数据分析相关职业的学生积累实战经验

　　你能获得什么？

　　数据科学的实战经验及相关编程经验

　　第一阶段导师签发的课程证明

　　科研指导人签发的劳伦斯伯克利国家实验室实习证明

　　（学生可选）英文个人学习、研究计划（Research statement）

　　※ 学生可自选的课程产出需在Week2 之前决定且告知ViaX，并在Week5之前提交

　　什么时间上课？

　　2018年11月10日 开课

　　开课进度图

　　第一周

　　数据分析引入

　　第二周

　　Python编程基础及数据分析方法

　　第三周

　　数据分析方法及部分机器学习算法

　　第四周

　　部分机器学习算法、MapReduce

　　第五周

　　SQL基础、数据科学家讲座

　　第六周

　　确定科研课题

　　第七周

　　科研课题实现的步骤及方法

　　第八周

　　第一次汇报科研进展

　　第九周

　　第二次汇报科研进展

　　第十周

　　科研课题答辩

　　课程安排

　　WEEK1

　　课程提纲：

　　Lesson 1

　　数据分析过程

　　清洗数据并对问题数据进行处理

　　掌握大数据智能分析软件Tableau

　　通过基础的分析技巧（scatter plot，distribution plot，correlation analysis等）获得对数据的初步认识。

　　Lesson 2

　　Python简介及环境设定

　　Python编程基础1

　　NumPy 和 Pandas 函数库

　　分析一维及二维数据集

　　对高维数据集的处理方法

　　WEEK2

　　课程提纲：

　　Lesson 3

　　Python编程基础2

　　数据可视化

　　Matplotlib 函数库

　　Lesson 4：数据分析方法进阶1

　　正态分布

　　估算

　　线性回归

　　WEEK3

　　课程提纲：

　　Lesson 5：数据分析方法进阶2

　　假设检验

　　T检验

　　LASSO/Ridge

　　Lesson 6：部分机器学习算法简介及实践1

　　决策树

　　卷积神经网络

　　支持向量机

　　WEEK4

　　课程提纲：

　　Lesson 7：部分机器学习算法简介及实践2

　　最终项目介绍

　　Lesson 8

　　大数据和MapReduce简介

　　MapReduce基础学习

　　Mapper

　　WEEK5

　　课程提纲：

　　Lesson 9：SQL 基础

　　掌握对数据库中海量数据的筛选、组合、逻辑判断等操作

　　掌握对数据的排序、删除、选择操作

　　掌握数据库的建立，更新及删除操作

　　Lesson 10

　　数据科学家讲座

　　最终项目展示

　　实战阶段

　　PART1

　　课程提纲：

　　课题介绍

　　背景知识介绍

　　CMIP5数据库介绍

　　netcdf数据文件操作与处理

　　PART2

　　课程提纲：

　　python读写netcdf文件

　　panoply软件介绍与实践

　　nco软件介绍与实践

　　讲解数据分析思路，时间序列，空间分布等

　　PART3

　　课程提纲：

　　汇总WEEK7学生科研的进度，答疑

　　介绍气候时空大数据建模分析思路，回归，分类，聚类等

　　PART4

　　课程提纲：

　　汇总WEEK8学生科研的进度，答疑

　　介绍时空大数据模拟结果的分析方案，提出和解决相应的科学问题

　　PART5

　　课程提纲：

　　学生报告科研进度，形式为当堂oral presentation+课后提交final report

　　导师点评学生科研进展

　　一点小要求

　　每周上课前按时阅读相关资料并完成相关作业

　　请假需要提前一天告知导师和班主任