Hadoop安装部署的三种模式总结
Hadoop安装部署的三种模式总结
⽬前来说,Hadoop的安装部署的模式⼀共有三种,就是如下三种:
1. 本地模式
2. 伪分布模式
3. 全分布模式
1、独⽴模式(本地模式) standalone
默认的模式,⽆需运⾏任何守护进程(daemon),所有程序都在单个JVM上执⾏。由于在本机模式下测试和调试MapReduce程序较为⽅便,因此,这种模式适宜⽤在开发阶段。使⽤本地⽂件系统,⽽不是分布式⽂件系统。
2、伪分布模式 pseudodistributed
在⼀台主机模拟多主机。即,Hadoop的守护程序在本地计算机上运⾏,模拟集环境,并且是相互独⽴
的Java进程。
在这种模式下,Hadoop使⽤的是分布式⽂件系统,各个作业也是由JobTraker服务,来管理的独⽴进程。
在单机模式之上增加了代码调试功能,允许检查内存使⽤情况,HDFS输⼊输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常⽤来开发测试Hadoop程序的执⾏是否正确。
3完全分布模式 fulldistributed, Hadoop
完全分布模式的守护进程运⾏在由多台主机搭建的集上,是真正的⽣产环境。
在所有的主机上安装JDK和Hadoop,组成相互连通的⽹络。
以下是三种配置模式的配置⽂件。
本地模式的配置
hadoop分布式集搭建
伪分布模式的配置
完全分部模式的配置
4、验证Hadoop环境
我们⼀般通过如下的⽅式来简单测试HADOOP的环境是否搭建成功。
各位观众⽼爷有喜欢的帮忙转发⼀下呗