下载 解压Hadoop2.6.3 tar文件

   
    下载链接:
    
     http:
    
    //hadoop
    
     .apache
    
    
     .org
    
    /releases
    
     .html
    
   
  
   
    解压文件,至当前文件夹:
tar -xzvf hadoop-
    
     2.6
    
    
     .3
    
    
     .tar
    
    
     .gz
    
   
  

这里写图片描述

新建自己的Hadoop目录,移动文件至该目录中

   
    新建hadoop目录
    
     mkdir
    
    /usr/
    
     local
    
    /hadoop
   
  

这里写图片描述

   
    移动解压后的文件到自己新建的hadoop目录当中

mv hadoop-
    
     2.6
    
    
     .3
    
    /usr/
    
     local
    
    /hadoop
   
  

这里写图片描述

   
    查看hadoop目录
   
  

这里写图片描述

熟悉hadoop目录文件

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

配置Hadoop环境

1 配置Hadoop环境变量

首先设置Hadoop运行所需要的环境变量,我们编辑 .bashrc 文件,添加我们的环境变量.
然后我们重新导入~/.bashrc文件中的内容到shell中:
命令:source .bashrc

   
    export
    
     HADOOP_HOME
    
    =
    
     /usr/local
    
    
     /hadoop/hadoop
    
    -
    
     2.6
    
    .
    
     3
    
   
  

修改添加hadoop_home到 PATH 环境变量

   
    
     export
    
    PATH=
    
     ${JAVA_HOME}
    
    /bin:
    
     ${HADOOP_HOME}
    
    /bin:
    
     $PATH
    
   
  

这里写图片描述

使配置生效:source .bashrc

验证Hadoop命令:

   
    hadoop
    
     version
    
   
  

这里写图片描述

2 为Hadoop设置Java环境变量

   
    vim /usr/
    
     local
    
    /hadoop/hadoop
    
     -
    
    
     2.6
    
    
     .3
    
    /etc/hadoop/hadoop
    
     -env
    
    
     .
    
    sh
   
  

这里写图片描述

3 编辑配置Hadoop配置文件
hadoop-2.6.3的etc/hadoop目录下面有许多配置文件:

   
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     4436
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    capacity
    
     -scheduler
    
    
     .
    
    
     xml
    
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     1335
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    configuration
    
     .
    
    xsl
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     318
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    container
    
     -executor
    
    
     .
    
    cfg
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     774
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    core
    
     -site
    
    
     .
    
    
     xml
    
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     3670
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    hadoop
    
     -env
    
    
     .
    
    cmd
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     4238
    
    
     1
    
     10
    
    
     18
    
    :
    
     49
    
    hadoop
    
     -env
    
    
     .
    
    sh
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     2598
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    hadoop
    
     -metrics2
    
    
     .
    
    properties
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     2490
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    hadoop
    
     -metrics
    
    
     .
    
    properties
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     9683
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    hadoop
    
     -policy
    
    
     .
    
    
     xml
    
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     775
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    hdfs
    
     -site
    
    
     .
    
    
     xml
    
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     1449
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    httpfs
    
     -env
    
    
     .
    
    sh
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     1657
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    httpfs
    
     -log4j
    
    
     .
    
    properties
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     21
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    httpfs
    
     -signature
    
    
     .
    
    secret
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     620
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    httpfs
    
     -site
    
    
     .
    
    
     xml
    
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     3523
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    kms
    
     -acls
    
    
     .
    
    
     xml
    
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     1325
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    kms
    
     -env
    
    
     .
    
    sh
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     1631
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    kms
    
     -log4j
    
    
     .
    
    properties
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     5511
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    kms
    
     -site
    
    
     .
    
    
     xml
    
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     11291
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    log4j
    
     .
    
    properties
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     938
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    mapred
    
     -env
    
    
     .
    
    cmd
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     1383
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    mapred
    
     -env
    
    
     .
    
    sh
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     4113
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    mapred
    
     -queues
    
    
     .
    
    
     xml
    
    
     .
    
    template
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     758
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    mapred
    
     -site
    
    
     .
    
    
     xml
    
    
     .
    
    template
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     10
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    slaves
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     2316
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    ssl
    
     -client
    
    
     .
    
    
     xml
    
    
     .
    
    example
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     2268
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    ssl
    
     -server
    
    
     .
    
    
     xml
    
    
     .
    
    example
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     2237
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    yarn
    
     -env
    
    
     .
    
    cmd
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     4567
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    yarn
    
     -env
    
    
     .
    
    sh
    
     -rw
    
    
     -r
    
    
     --
    
    r
    
     --
    
    
     1
    
    hjr hjr
    
     690
    
    
     12
    
     18
    
    
     09
    
    :
    
     52
    
    yarn
    
     -site
    
    
     .
    
    
     xml
    
   
  

我们配置的是伪分布式环境,所以需要配置以下几个文件:

   
    HADOOP的核心配置文件:core
    
     -site
    
    
     .
    
    
     xml
    
    
     ---
    
    主要是配置HDFS的地址和端口号
HADOOP的HDFS配置文件:hdfs
    
     -site
    
    
     .
    
    
     xml
    
    
     ---
    
    主要是配置replication副本数
HADOOP的MapReduce配置文件:mapred
    
     -site
    
    
     .
    
    
     xml
    
    
     ---
    
    主要是 
YARN配置文件:yarn
    
     -site
    
    
     .
    
    
     xml
    
    
     ---
    
    主要是
   
  

core-site.xml配置:

   
    
     <
     
      configuration
     
     >
    
    
     <
     
      property
     
     >
    
    
     <
     
      name
     
     >
    
    hadoop.tmp.dir
    
     </
     
      name
     
     >
    
    
     <
     
      value
     
     >
    
    /usr/local/hadoop/hadoop-2.6.3/tmp
    
     </
     
      value
     
     >
    
    
     <
     
      description
     
     >
    
    Abase for other temporary directories.
    
     </
     
      description
     
     >
    
    
     </
     
      property
     
     >
    
    
     <
     
      property
     
     >
    
    
     <
     
      name
     
     >
    
    fs.defaultFS
    
     </
     
      name
     
     >
    
    
     <
     
      value
     
     >
    
    hdfs://localhost:9000
    
     </
     
      value
     
     >
    
    
     </
     
      property
     
     >
    
    
     </
     
      configuration
     
     >
    
   
  

这里写图片描述

hdfs-site.xml配置:

   
    
     <
     
      configuration
     
     >
    
    
     <
     
      property
     
     >
    
    
     <
     
      name
     
     >
    
    dfs.replication
    
     </
     
      name
     
     >
    
    
     <
     
      value
     
     >
    
    1
    
     </
     
      value
     
     >
    
    
     </
     
      property
     
     >
    
    
     <
     
      property
     
     >
    
    
     <
     
      name
     
     >
    
    dfs.namenode.name.dir
    
     </
     
      name
     
     >
    
    
     <
     
      value
     
     >
    
    /usr/local/hadoop/hadoop-2.6.3/hdfs/name
    
     </
     
      value
     
     >
    
    
     </
     
      property
     
     >
    
    
     <
     
      property
     
     >
    
    
     <
     
      name
     
     >
    
    dfs.datanode.data.dir
    
     </
     
      name
     
     >
    
    
     <
     
      value
     
     >
    
    /usr/local/hadoop/hadoop-2.6.3/hdfs/data
    
     </
     
      value
     
     >
    
    
     </
     
      property
     
     >
    
    
     </
     
      configuration
     
     >
    
   
  

这里写图片描述

mapred-site.xml配置:

   
    
     <
     
      configuration
     
     >
    
    
     <
     
      property
     
     >
    
    
     <
     
      name
     
     >
    
    mapreduce.framework.name
    
     </
     
      name
     
     >
    
    
     <
     
      value
     
     >
    
    yarn
    
     </
     
      value
     
     >
    
    
     </
     
      property
     
     >
    
    
     </
     
      configuration
     
     >
    
   
  

这里写图片描述

yarn-site.xml配置:

   
    
     <
     
      configuration
     
     >
    
    
     <
     
      property
     
     >
    
    
     <
     
      name
     
     >
    
    yarn.nodemanager.aux-services
    
     </
     
      name
     
     >
    
    
     <
     
      value
     
     >
    
    mapreduce_shuffle
    
     </
     
      value
     
     >
    
    
     </
     
      property
     
     >
    
    
     </
     
      configuration
     
     >
    
   
  

这里写图片描述

4 配置完成,执行 NameNode 的格式化

   
    hdfs namenode-
    
     format
    
   
  

这里写图片描述

这里写图片描述

这里写图片描述

5 启动Hadoop,运行Hadoop示例

   
    ./
    
     
      start
     
     -
     
      all
     
     .sh

(This script
     
      is
     
     Deprecated. Instead use
     
      start
     
     -dfs.sh
     
      and
     
     
      start
     
     -yarn.sh)
    
   
  

这里写图片描述
所有进程:
这里写图片描述
Hadoop Web界面(hdfs):
这里写图片描述

这里写图片描述

YARN资源管理界面
这里写图片描述

这里写图片描述

在HDFS上面创建用户目录

   
    hdfs dfs
    
     -mkdir
    
    
     -p
    
    /user/hadoop

hdfs dfs
    
     -mkdir
    
    
     -p
    
    /hjr

hdfs dfs
    
     -mkdir
    
    
     -p
    
    /test
   
  

上传本地文件到HDFS对应用户目录

   
    hdfs dfs -
    
     put
    
    /usr/
    
     local
    
    /hadoop/hadoop-
    
     2.6
    
    
     .3
    
    /etc/hadoop
    
     /*.xml /hjr
    
   
  

查看HDFS文件列表

   
    hdfs dfs -
    
     ls
    
    /hjr
   
  

这里写图片描述
运行wordcount示例

   
    hadoop jar share/hadoop/mapreduce/hadoop
    
     -mapreduce
    
    
     -examples
    
    
     -
    
    
     2.6
    
    
     .3
    
    
     .
    
    jar wordcount /hjr  /output
   
  

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述