搭建的集群为伪分布式集群。并且是基础的 hadoop,而不包括生态的其他服务(后续会跟进的)。有三台机器,常将配置有 NameNode 节点的机器叫做主机,另外两台叫做从机。这里的主机是指集群中的三台虚拟机的主机。但我大多数情况描述的主机都是指您的 Windows 系统或 Mac 系统。请您注意区分。

为了少出问题,您的搭建过程请尽量和我一样(包括用户名、主机名、静态 IP),但是您自己能区分与我的内容对应便可不必。

为了稳妥起见,不论您先前收否执行过一些步骤,请按照流程,浏览一遍文章。

如果文章出现问题欢迎在评论区留言,如果您遇到了问题也可以在评论区看看。


  1. 如果还没有安装配置虚拟机,可以参看UTM安装配置Ubuntu。如果你是 MacOS 可以完全照做;如果是 Windows,那么安装过程不完全适合你,Windows 下一般使用 VMware,而不是 UTM。但是在配置 Ubuntu 内部环境的时候就一样了,因为 Ubuntu 与外部的操作系统无关。如果您是 Windows,您可以自行找文章了找文章前最好还是看看我配置了 Ubuntu 的什么环境这里的关键点是静态 IP,最好配置上静态 IP,文章中的静态 IP 配置 Windows 也适用
  2. 如果您使用的以前的虚拟机,但是想要和我的用户名、主机名一致,请参看修改Ubuntu用户名、密码和主机名(为了后续搭建快速方便建议和我的用户名主机名一致)。
  3. 估计您还没有 hadoop 环境,参看搭建Hadoop环境,hadoop 先下载配置到您的主虚拟机就行了,两台从虚拟机之后有处理办法。
  4. 准备工作做完了,开始搭建集群,请参看:搭建Hadoop集群.这里就是仔细配置五个配置文件就好了,并不难。
  5. 接下来就是介绍集群搭建的一些辅助配置了。请参看:集群分发脚本。虽然文章名叫集群分发脚本,但内容还涉及到 ssh 免密登录和 hosts 端口映射,这些都是重要内容。
  6. 这一步是检测您的 Hadoop 集群启动后能否访问 web 服务的。也是想您介绍 hadoop 集群配置好后的 web 服务端口。如果您觉得需要请参看:hadoop常用端口号
  7. 如果您在搭建过程中遇到了问题,这可能是我最开始搭建出的一点纰漏,请参看:搭建hadoop集群常见问题。如果这里面也没有您出的错,请仔细比对一下是否按照我的描述配置完前面的全部内容。要注意有些配置我是专门说了三台机器是都要处理的哦,其中脚本分发指令只用于 hadoop 目录了,其他的 ssh,hosts,环境变量等都是每台机器都需要配置的哦。

搭建好了可继续跟着我博客笔记学习 Hadoop 的知识:

祝您一切顺利 💪🏻 您也可以浏览我博客的其他内容,可以通过留言板或评论和我交流。很高兴能认识您 🥳。

其他大数据相关内容可浏览博客主页查看,已上传 Zookeeper、HBase、ElasticSearch 等大数据方面的内容。

搭建好的朋友可以在评论区留下你的配置时长哦

文章这么多字,这么细致(虽然可能会有些错别字 🧐)但是还是很辛苦的,麻烦您大发慈悲,给我打赏一点吧,不在于多少,而在于心意 🤪。