《分布式存储与处理技术实验》教学大纲

Experiments of Distributed Storage and Processing Technology

课程代码：XF076006 学时：32学时学分：1学分

适用专业：空间信息与数字技术课程性质：选修

撰稿人：李俊清审定人：葛平俱

1. 实验课的性质与任务

分布式存储与处理技术实验是分布式存储与处理技术的重要教学环节，本课程属于选修课程。通过相应的分布式存储与处理技术实验，使得学生熟悉和深入理解分布式存储与处理技术知识，并掌握掌握Hdfs文件操作、Hadoop管理操作、HIVE命令行操作、HIVE数据定义操作、HIVE数据处理操作等。并在此基础上强化学生的实践意识、提高学生实际动手能力，激发学生对数据的应用创新能力。

二、实验目的与要求

通过本课程的学习，主要让学生掌握，掌握Hdfs文件操作、Hadoop管理操作、HIVE命令行操作、HIVE数据定义操作、HIVE数据处理操作，使学生加深对数分布式存储与处理技术原理的理解。

每一个实验进行前，由任课教师讲清实验的基本原理、方法及要求；学生预习实验指导，理清实验目的和实验步骤。要求学生掌握各实验所需知识、操作方法或步骤，记录实验中所遇到的问题，并写出详细的实验报告。实验报告按照学校的统一格式填写。

三、实验项目设置情况

四、各实验项目教学内容

实验项目一：Linux基本操作练习2学时

1. 实验目的要求

   熟悉对Linux的基本操作

（二）实验材料和仪器设备

计算机，Linux系统

（三）实验内容

（1）练习Linux的基本操作

实验项目二：HDFS文件操作8学时

（一）实验目的要求

熟悉并掌握对HDFS文件操作

（二）实验材料和仪器设备

计算机，Linux系统，Hadoop软件

（三）实验内容

（1）HDFS创建文件

（2）HDFS读写操作

（3）HDFS 的安全性和用户认证

实验项目三：Hadoop管理操作4学时

（一）实验目的要求

熟悉并掌握对Hadoop管理操作

（二）实验材料和仪器设备

计算机，Linux系统，Hadoop软件

（三）实验内容

（1）HDFS元数据查看

（2）NameNode；DataNode

（3）Hadoop的启动和停止

实验项目四： HIVE命令行操作2学时

（一）实验目的要求

熟悉并掌握对HIVE的命令行操作

（二）实验材料和仪器设备

计算机，Linux系统，Hadoop软件

（三）实验内容

（1）HIVE命令行输入练习

（2）HIVE数据类型转换练习

实验项目五： HIVE数据定义操作8学时

（一）实验目的要求

熟悉并掌握对HIVE数据定义操作

（二）实验材料和仪器设备

计算机，Linux系统，Hadoop软件

（三）实验内容

（1）数据库创建及修改

（2）表的创建、删除、修改操作

（3）字段的修改操作

（4）表分区的管理

实验项目六：HIVE数据处理操作8学时

（一）实验目的要求

熟悉并掌握对HIVE数据处理操作

（二）实验材料和仪器设备

计算机，Linux系统，Hadoop软件，HIVE软件

（三）实验内容

（1）数据加载操作

（2）数据查询操作

（3）数据插入操作

（4）数据删除操作

（5）HIVE参数配置操作

五、实验报告要求

1 形式：手写实验报告+电子数据结果。

2 内容包括：

（1）实验题目；

（2）实验内容；

（3）实验工具及环境；

（4）实验步骤和方法；

（5）实验中的问题和解决方法；

（6）讨论、心得。

六、课程考核方式及成绩评定

（一）考核方式

平时成绩：√课堂提问/√学习态度//ð课外资料收集整理//ð预习报告//√实验报告//ð其他；

结课后考试：ð笔试//√操作。

（二）课程成绩评定办法

成绩构成：

本课程根据学生的实验情况和实验报告进行考核，其中：实验结果演示10%、实验项目检查和教师提问50%、实验报告40%。

七、实验应配套的主要仪器设备及台（套）数（以一个实验教学班为标准）

台式计算机，每人一台，安装Linux、Hadoop、Hive

附：教学参考资料

1、选用的教材：

自编讲义

2、主要参考书：

3、其他参考资料：

http://hive.apache.org/

http://hadoop.apache.org/