单元教学设计
课程名称:《大数据平台部署与运维》
项目8:部署与使用Spark(12课时)
教学
内容
学习Spark的相关概念,实现部署与使用Spark的相关任务。内容思维导图如下:
教学目标素质目标知识目标技能目标
1.培养精益求精
的工匠精神;
1.了解Spark的简介与生态。
2.了解Spark与Hadoop的关
系。
3.了解Spark的部署方式。
shell程序的编写流程4.熟悉Spark部署流程。
5.掌握Spark Shell编写代码。
6.掌握Scala编写Spark程
序。
7.了解Spark运行框架。
1.能按照流程部署Spark。
2.能使用Spark Shell编写
代码。
3.能使用Scala编写Spark
程序。
教学重难点及方法教学
重点
1.熟悉Spark部署流程。
教学
难点
1.掌握Scala编写Spark程序。
教学
方法
采用“线上-线下”混合式分层教学模式:
1.混合式教学:课前,通过视频学习提前了解Spark基础概念;课中,首
先学习Spark部署方式、Spark shell、Scala编程,根据视频开展实操;
课后,深入学习理论,巩固知识;
2.分层教学:根据学情及实操环节的表现,遴选优秀学生,与普通学生一
起开展分组学习,采用“帮扶带”方式,保证普通学生及时答疑、优秀
学生深入思考。
参考资料林子雨. 大数据技术原理与应用:概念、存储、处理、分析与应用[M]. 3版.北京:人民邮电出版社, 2021.
第3、4课时
任务完成任务1:部署单机模式Spark。
课中第一部分:回顾上节课知识点(时间:8 分钟)回顾上一节课Hive相关基础概念。
第二部分:任务导入(时间:2分钟)导入本节课的任务:部署单机模式Spark。
第三部分:任务流程讲解及演示(时间:25分钟)
步骤一:讲解单机模式Spark部署流程(5分钟):
讲解单机模式Spark部署流程。
步骤二:教师演示伪分布式HBase部署操作(20分钟):
(注意:在线下载软件安装包可能速度较慢,可使用教材提供的安装包)
1.安装Spark
讲解:获取Spark安装文件、解压安装文件、配置目录权限、配置PATH
2.配置单机模式Spark
讲解:配置spark-env.s件
有了spark-env.sh配置信息以后,Spark就可以把数据存储到Hadoop分布式文件系统HDFS中,也可以从HDFS中读取数据。如果没有配置spark-env.sh,Spark就只能读写本地数据,无法读写HDFS中的数据。
3.运行单机模式Spark
讲解:运行Spark自带的实例SparkPi
第四部分:学生实操(时间:45分钟)
步骤一:学生独立实操、教师答疑(30分钟):
学生根据教师演示、教材提供的辅助教学视频开展单机模式Spark部署实操。教师进行巡场答疑。
步骤二:优秀学生分组答疑(15分钟):
对已完成配置与未完成配置的学生进行分组答疑。
第五部分:总结(时间:10分钟)
1.优秀学生对实操环节错误进行总结
2.教师对本节课理论与实践环节知识点进行总结。
课后1.布置课后巩固任务:
在学生电脑上完成单机模式Spark部署,巩固练习。