在centos系统上部署hadoop分布式文件系统(hdfs)需要多个步骤，以下指南简述了单机模式下的配置过程。 完整集群部署更为复杂。
1. Java环境配置
首先，确保系统已安装Java。使用以下命令安装OpenJDK：
yum install -y java-1.8.0-openjdk-devel
配置Java环境变量：
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk" >> /etc/profile echo "export PATH=$JAVA_HOME/bin:$PATH" >> /etc/profile source /etc/profile java -version
2. ssh免密登录设置
为了节点间无缝通信，需配置SSH免密登录。
- 生成SSH密钥对：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
- 将公钥复制到所有节点 (此处仅为单机配置，故省略此步骤)：
3. Hadoop下载与解压
从apache Hadoop官网下载Hadoop发行版，并解压到指定目录：
wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz tar -zxvf hadoop-3.1.3.tar.gz mv hadoop-3.1.3 /opt/hadoop
4. Hadoop环境变量配置
编辑/etc/profile文件，添加以下环境变量：
export HADOOP_HOME=/opt/hadoop export PATH=$HADOOP_HOME/bin:$PATH source /etc/profile
5. Hadoop配置文件修改
core-site.xml
编辑/opt/hadoop/etc/hadoop/core-site.xml，添加以下内容 (将192.168.1.1替换为你的主机IP)：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.1.1:9000</value> </property> </configuration>
hdfs-site.xml
编辑/opt/hadoop/etc/hadoop/hdfs-site.xml，添加以下内容：
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/hdfs/datanode</value> </property> </configuration>
6. NameNode格式化
格式化NameNode：
/opt/hadoop/bin/hdfs namenode -format
7. HDFS启动
启动HDFS服务：
/opt/hadoop/sbin/start-dfs.sh
8. HDFS状态验证
检查HDFS状态：
jps
你应该看到NameNode和DataNode进程运行。
9. HDFS Web ui访问
访问http://192.168.1.1:50070 (将192.168.1.1替换为你的主机IP) 查看HDFS Web界面。
本指南仅供单机HDFS配置参考。 多节点集群部署需要额外配置zookeeper、Secondary NameNode等，并确保所有节点配置文件一致。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
THE END
