(保姆级)Zookeeper+Hadoop+HBase的环境的配置

配置环境时遇到的问题以及我的解决办法

配置环境是个非常消磨耐心的事情,我和我的队友也熬了不知道多少个夜晚了。但是其实如果静下心来想想,而不是像个无头苍蝇一样乱修乱改其实会高效很多(这点是从我队友身上学的)。

说一下我配置过程中遇到的问题:

我们的hadoop在一开始配置完成后,网页只有一个master的node。不管怎么重启都没办法,在查阅log之后我们发现,9000端口一直都是master自己在监听,slave1没办法监听。经过长时间的排查之后我们最终发现:masterslave1hadoop下的hdfs路径下的version文件的相关id都是一样的,这就会导致没办法区分主从机,这个是我们的问题,我们是在masterformat之后才分发到slave1上的。于是我们重装了hadoop,在master和slave1上都重新format了一遍。

#如果忘记了format的命令,这是hdfs的format的命令
hdfs namenode -format

这个问题,我看了一下,网上很多教程都会说master配完之后用scp把hadoop配置文件发送到所有slave上,但是一定要传完再分别format,否则就会出现我们的错误。如果你的hosts文件没配错,那么应该就解决了,一定记住,不要把hosts文件里的127.0.0.1或者127.0.1.1后面的localhost改为master,否则就只能本地连接了!

当然,中间还有非常多的问题,不过我在写上面的配置流程的时候都改进了。就比如,一开始的zookeeper端口总是会发生进程矛盾然后杀掉,后来发现是因为没加图上这句话:

加上就好了,具体原因好像是跟服务器的配置有关系,云服务器本身采用的是虚拟化技术,没有实体网卡,加上这句话就能让服务器进程监听0.0.0.0的ip地址,也就是监听所有网卡。具体参考:zookeeper集群无法正确启动

我也会把参考的很多网址放在后面。遇到的问题没准去找找就能找到原因。

如果要总结一下,那就是配环境是个技术活,需要耐心细心和决心,如果觉得累了就不妨先放一边,没准明早起来突然就灵机一动成功了呢!另外要多看log,多思考,不要随便乱改一通,可以适当了解一下原理,明白为什么才能知道怎么办!


参考链接:

hadoop组件及其作用
Hbase搭建遇到得问题-regionServer连接不上master
hadoop起动后没有datanode的问题
HBase 系列(四)—— HBase 集群环境配置
Hadoop在安装过程中的hosts的配置
Master is initializing 问题

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注