《大数据应用开发实战》课程标准
课程名称:大数据应用开发实战
课程性质:能力拓展课
计划学时:96(其中实践学时48)
适用专业:大数据技术与应用
1.课程定位与思路
1.1课程定位
本课程以《物联网导论》、《操作系统教程》、《Java编程》等先修课程所学理论知识和所练实操技能为教学基础,并为《云计算》等后继课程的教学打下良好的基础。
本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展,大数据已经成为一个耳熟能详的词汇。与此同时,针对大数据处理的新技术也在不断的开发和运用中,逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop 作为处理大数据的分布式存储和计算框架,得到了国内外大小型企业广泛的应
用。Hadoop是一个可以搭建在廉价服务器上的分布式集系统架构,它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台,用户可以在完全不了解底层实现细节的情形下,开发适合自身应用的分布式程序。经过十多年的发展,目前Hadoop已经成长为一个全栈式的大数据技术生态圈,并在事实上成为应用最广泛最具有代表性的大数据技术。因此,学习Hadoop技术是从事大数据行业工作所必不可少的一步。
1.2设计思路
本课程主要理论结合实践,每个章节讲解理论的同时以各种软件实操和案例作为论证和巩固,提高学生学习的趣味。此外本课程包含众多实操分析案例,在案例操作的过程中,一方面需要指导学生完成案例操作的任务,利用分析工具魔镜掌握数据分析的技能,另一方面需要激发学生主动学习、深入研究的热情。
本课程立足于实际能力培养,打破以知识传授为主要特征的传统学科课程模式,转变为以实际操作任务为中心组织课程内容和课程教学,整合理论和实践,
让学生在完成具体案例的过程中来构建和了解相关理论知识体系,并发展大数据分析基础的职业能力。本课程实施项目教学以改变学与教的行为。
2.课程目标
本课程旨在培养能够为企事业单位提供大数据系统的搭建、管理和运维技术的学生。学生通过大量的案例与实践操作,可以熟练掌握大数据系统管理所需的各种专业知识和能力,具备一定的职业素养,为他们从事大数据这个尖端行业的系统管理工作奠定坚实的基础。
2.1总体目标
通过本课程的学习,使学生学会搭建Hadoop完全分布式集,熟练HDFS 的原理和基础操作,能够在理解MapReduce原理架构的基础上,进行MapReduce 程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。
2.2具体目标(能力目标、知识目标、素质目标)
1.能力目标
(1)会搭建Hadoop的环境
(2)能够掌握相关的数据管理、存储、分析计算等的技术基础
(3)通过对数据库的学习和编程设计,掌握MapReduce的编程模型
(4)会使用MapReduce完成常用的功能
(5)会搭建HDFS Name Node环境
(6)会进行Hive的部署,及Hive中DDL与DML的操作
hbase应用案例(7)会使用Sqoop,知道常用的SQL on Hadoop框架
2.知识目标:
(1)了解Hadoop的来源与特点;
(2)掌握Hadoop分布式文件系统HDFS的重要概念、体系结构、存储原理和读写过程,并熟练掌握分布式文件系统HDFS的使用方法;
(3)掌握MapReduce的原理;
(4)掌握Hadoop分布式数据库
(5)了解大数据处理中常用的实时流处理框架有哪些
3.素质目标
(1)培养学生的团队分工协作精神;
(2)培养学生的沟通表达能力;
(3)培养学生的工作责任意识;
(4)培养学生的质量至上观念;
4.课程思政目标
(1)培养学生自主学习能力和知识应用能力;
(2)培养学生的职业道德和职业规范。
3.课程内容与要求