Debian中Hadoop配置文件解析

在debian系统中，hadoop的核心配置文件位于/etc/hadoop/conf目录下。 这些文件控制着Hadoop集群的各个方面，包括核心功能、hdfs、yarn和mapreduce。 下面我们逐一解析这些关键文件：

1. core-site.xml: 包含Hadoop的核心配置参数。 最重要的两个参数是：

   • fs.defaultFS: 指定默认的文件系统URI，例如hdfs://localhost:9000。
   • hadoop.tmp.dir: 定义Hadoop的临时目录，例如/var/cache/hadoop/tmp。

2. hdfs-site.xml: 包含HDFS（Hadoop分布式文件系统）的配置信息。 关键参数包括：

   • dfs.replication: 设置文件的副本数量，默认为3。
   • dfs.namenode.name.dir: 指定NameNode存储元数据的目录，例如/var/lib/hadoop-hdfs/namenode。
   • dfs.datanode.data.dir: 指定DataNode存储数据的目录，例如/var/lib/hadoop-hdfs/datanode。
   • dfs.namenode.secondary.http-address: Secondary NameNode的HTTP访问地址，例如localhost:50090。

3. yarn-site.xml: 包含YARN（Yet Another Resource Negotiator）的配置信息，负责资源管理和调度。 重要的配置项有：

   • yarn.resourcemanager.hostname: ResourceManager的主机名，例如localhost。
   • yarn.nodemanager.aux-services: NodeManager提供的辅助服务，例如mapreduce_shuffle。
   • yarn.nodemanager.resource.memory-mb: NodeManager分配给容器的最大内存，单位为MB，例如4096。

4. mapred-site.xml: 包含MapReduce框架的配置信息。 关键参数包括：

   • mapreduce.framework.name: 指定MapReduce的运行框架，通常为yarn。
   • mapreduce.jobhistory.address: JobHistoryServer的地址，例如localhost:10020。
   • mapreduce.jobhistory.webapp.address: JobHistoryServer的Web ui地址，例如localhost:19888。

5. slaves (或workers): 这个文件列出了集群中的所有DataNode和NodeManager节点，每个节点占据一行，例如：

    datanode1  datanode2  worker1  worker2

6. hadoop-env.sh: 包含Hadoop运行环境的配置，例如：

   • Java_HOME: Java的安装路径，例如/usr/lib/jvm/java-8-openjdk-amd64。
   • HADOOP_LOG_DIR: Hadoop日志的存放目录，例如/var/log/hadoop-hdfs。

修改这些配置文件需要使用文本编辑器（例如nano或vim），修改后需要重启Hadoop服务才能使更改生效。 请谨慎修改这些文件，错误的配置可能导致Hadoop集群无法正常工作。