Pekey‘s Blog

Hadoop环境搭建

2018/04/17 Share

配置过程

  • hadoop-env.sh

    1
    2
    export JAVA_HOME=/opt/java/jdk1.7.0_80
    export HADOOP_PREFIX=/opt/hadoop-2.6.4

  • core-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/hadoop-2.6.4/tmp</value>
        </property>
    </configuration>

    注意：tmp目录需提前创建

  • hdfs-site.xml

    1
    2
    3
    4
    5
    6
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
    </configuration>

    数据有三个副本

  • mapred-site.xml

    1
    2
    3
    4
    5
    6
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

  • yarn-env.sh

    增加 JAVA_HOME 配置

    1
    export JAVA_HOME=/opt/java/jdk1.7.0_80

  • yarn-site.xml

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    <configuration>

    <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>nodeh1</value>
        </property>
    </configuration>

  • slaves

    1
    2
    3
    master
    slave01
    slave02

    master 即作为 NameNode 也作为 DataNode。

启动过程

  1. 格式化文件系统，在 master 上执行以下命令：

    1
    hdfs namenode -format

  2. 启动 NameNode 和 DateNode，执行 start-dfs.sh，使用 jps 命令查看进程。

  3. 输入地址：http://master:50070/ 可以查看 NameNode 信息。

  4. 启动 ResourceManager 和 NodeManager，运行 start-yarn.sh, 使用 jps 查看 进程

测试

1
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/output/result
CATALOG
  1. 1. 配置过程
  2. 2. 启动过程
  3. 3. 测试
Total : 19
2018
kylin spagobi linux