搭建的集群为伪分布式集群。并且是基础的hadoop,而不包括生态的其他服务(后续会跟进的)。有三台机器,常将配置有NameNode节点的机器叫做主机,另外两台叫做从机。这里的主机是指集群中的三台虚拟机的主机。但我大多数情况描述的主机都是指您的Windows系统或Mac系统。请您注意区分。

为了少出问题,您的搭建过程请尽量和我一样(包括用户名、主机名、静态IP),但是您自己能区分与我的内容对应便可不必。

为了稳妥起见,不论您先前收否执行过一些步骤,请按照流程,浏览一遍文章。

如果文章出现问题欢迎在评论区留言,如果您遇到了问题也可以在评论区看看。


  1. 如果还没有安装配置虚拟机,可以参看UTM安装配置Ubuntu。如果你是MacOS可以完全照做;如果是Windows,那么安装过程不完全适合你,Windows下一般使用VMware,而不是UTM。但是在配置Ubuntu内部环境的时候就一样了,因为Ubuntu与外部的操作系统无关。如果您是Windows,您可以自行找文章了找文章前最好还是看看我配置了Ubuntu的什么环境这里的关键点是静态IP,最好配置上静态IP,文章中的静态IP配置Windows也适用
  2. 如果您使用的以前的虚拟机,但是想要和我的用户名、主机名一致,请参看修改Ubuntu用户名、密码和主机名(为了后续搭建快速方便建议和我的用户名主机名一致)。
  3. 估计您还没有hadoop环境,参看搭建Hadoop环境,hadoop先下载配置到您的主虚拟机就行了,两台从虚拟机之后有处理办法。
  4. 准备工作做完了,开始搭建集群,请参看:搭建Hadoop集群.这里就是仔细配置五个配置文件就好了,并不难。
  5. 接下来就是介绍集群搭建的一些辅助配置了。请参看:集群分发脚本。虽然文章名叫集群分发脚本,但内容还涉及到ssh免密登录和hosts端口映射,这些都是重要内容。
  6. 这一步是检测您的Hadoop集群启动后能否访问web服务的。也是想您介绍hadoop集群配置好后的web服务端口。如果您觉得需要请参看:hadoop常用端口号
  7. 如果您在搭建过程中遇到了问题,这可能是我最开始搭建出的一点纰漏,请参看:搭建hadoop集群常见问题。如果这里面也没有您出的错,请仔细比对一下是否按照我的描述配置完前面的全部内容。要注意有些配置我是专门说了三台机器是都要处理的哦,其中脚本分发指令只用于hadoop目录了,其他的ssh,hosts,环境变量等都是每台机器都需要配置的哦。

搭建好了可继续跟着我博客笔记学习Hadoop的知识:

祝您一切顺利💪🏻 您也可以浏览我博客的其他内容,可以通过留言板或评论和我交流。很高兴能认识您🥳。

其他大数据相关内容可浏览博客主页查看,已上传Zookeeper、HBase、ElasticSearch等大数据方面的内容。

搭建好的朋友可以在评论区留下你的配置时长哦

文章这么多字,这么细致(虽然可能会有些错别字🧐)但是还是很辛苦的,麻烦您大发慈悲,给我打赏一点吧,不在于多少,而在于心意🤪。