CentOS 7 安装 Hadoop-cdh-2.5 on Mesos

2019-11-03 06:26栏目:网络技术
TAG:

CentOS 7 安装 Hadoop-cdh-2.5 on Mesos

1.Hadoop介绍 

1.环境说明

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

master    192.168.0.223  mesos-master

对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访问操作;集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前的失败任务;从节点仅负责由主节点指派的任务。当一个Job被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。

slave    192.168.0.225  mesos-salve

从上面的介绍可以看出,HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作,并收集结果,二者相互作用,完成了Hadoop分布式集群的主要任务。

2.环境准备

1.2环境说明

关闭防火墙

master    192.168.0.201

关闭selinux

slave    192.168.0.220

两台机器修改主机名master/slave

两个节点都是CentOS 7

设置hosts,能互相解析

1.3环境准备

3.master和slave配置ssh互信

永久关闭防火墙和selinux

这里配置hadoop用户双机互信,因为hadoop用hadoop用户启动

systemctl  disable firewalld
systemctl  stop    firewalld
setenforce  0

master
yum  -y install  sshpass
ssh-keygen 一路回车
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220
slave
yum  -y install  sshpass
ssh-keygen 一路回车
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.201
测试ssh对方主机,不提示输入密码则OK

1.4网络配置

4.安装JDK

两台修改主机名:master/salve

tar zxvf jdk-8u65-linux-x64.tar.gz

设置hosts,能互相解析

mv jdk1.8.0_65  /usr/jdk

1.5配置ssh互信

4.1设置环境变量

 master
  yum  -y install  sshpass
  ssh-keygen 一路回车
  ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.220
slave
  yum  -y install  sshpass
  ssh-keygen 一路回车
  ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.201
测试ssh对方主机,不提示输入密码则OK

export JAVA_HOME=/usr/jdk

2.安装JDK

export JRE_HOME=/usr/jdk/jre

两台机器都装

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

tar zxvf jdk-8u65-linux-x64.tar.gz
mv jdk1.8.0_65  /usr/jdk

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

2.1设置环境变量

执行 source  /etc/profile

两台机器都设置

4.2测试JDK

export JAVA_HOME=/usr/jdk
export JRE_HOME=/usr/jdk/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
执行 source  /etc/profile

java -version #出现版本信息

3.测试JDK

5.安装mesos主从,看其他博客

java -version

安装完成,会在/usr/local/lib下生成一个libmesos.so文件

3.1安装Hadoop

6.安装和配置Hadoop

官方网站下载CDH-2.6-hadoop:archive.cloudera.com/cdh5

master和slave
 
tar zxvf hadoop-2.5.0-cdh5.4.8.tar.gz

tar zxvf hadoop-2.6.0-cdh5.4.8.tar.gz
mv hadoop-2.6.0-cdh5.4.8  /usr/hadoop
cd  /usr/hadoop
mkdir -p dfs/name
mkdir -p dfs/data
mkdir -p tmp

mv hadoop-2.5.0-cdh5.4.8  /usr/hadoop

3.2添加slave

cd  /usr/hadoop

cd /usr/hadoop/etc/hadoop
 vim slaves
  192.168.0.220  #添加slaveIP

mkdir -p tmp

3.3修改hadoop-env.sh和yarn.env.sh

 

vim hadoop-env.sh / vim yarn-env.sh
export export JAVA_HOME=/usr/jdk  #加入java变量

cd /usr/hadoop/

3.4修改core-site.xml

mv bin bin-mapreduce2/

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.0.201:9000</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131702</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/hadoop/tmp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hadoop.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.hadoop.groups</name>
                <value>*</value>
        </property>
</configuration>

ln -s bin-mapreduce1  bin

3.5修改hdfs-site.xml

mv example  example-mapreduce2

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>:/usr/hadoopdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>:/sur/hadoop/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>192.168.0.201:9001</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
</configuration>

ln -s example-mapreduce1  example

3.6修改mapred-site.xml

cd etc/

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>192.168.0.201:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>192.168.0.201:19888</value>
        </property>
</configuration>

mv hadoop hadoop-mapreduce2

3.7修改yarn-site.xml

ln -s hadoop-mapreduce1 hadoop

 <configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>192.168.0.201:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>192.168.0.201:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>192.168.0.201:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>192.168.0.201:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>192.168.0.201:8088</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>768</value>
        </property>
</configuration>

7.添加hadoop环境变量

4.把配置文件拷贝到slave端

vim /etc/profile

scp -r /usr/hadoop root@192.168.0.220:/usr/

 export HADOOP_HOME=/usr/hadoop

5.格式化nanenode

 export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin

./bin/hdfs namenode -format

source /etc/profile

5.1启动hdfs

8.获取hadoop on mesos的jar包

./sbin/start-dfs.sh$ ./sbin/start-yarn.sh

yum -y install maven openjdk-7-jdk git

5.2检查启动情况

git clone

输入192.168.0.201:8088

cd hadoop

图片 1

mvn package  #获取jar包,jar包会在target下

输入网址:192.168.0.201:9001

9.把获取的jar包放到hadoop安装目录下

图片 2

master和slave

下面关于Hadoop的文章您也可能喜欢,不妨看看:

cp hadoop/target/hadoop-mesos-0.1.0.jar  /usr/hadoop/share/hadoop/common/lib/

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

10.配置hadoop on mesos

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

master和slave

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

vim  /usr/hadoop/etc/hadoop/mapred.site.xml

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

<property>

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

  <name>mapred.job.tracker</name>

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

  <value>localhost:9001</value>

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

</property>

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

<property>

本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-11/124909.htm

  <name>mapred.jobtracker.taskScheduler</name>

图片 3

  <value>org.apache.hadoop.mapred.MesosScheduler</value>

</property>

<property>

  <name>mapred.mesos.taskScheduler</name>

  <value>org.apache.hadoop.mapred.JobQueueTaskScheduler</value>

</property>

<property>

  <name>mapred.mesos.master</name>

  <value>zk://192.168.0.223</value>

</property>

<property>

  <name>mapred.mesos.executor.uri</name>

  <value>hdfs://localhost:9000/hadoop-2.5.0-cdh5.2.0.tar.gz</value>

</property>

11.给hadoop用户权限

master和slave

chown -R  hadoop:hadoop /usr/hadoop

12.在master上启动jobtracker,连接mesos

su hadoop

MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so hadoop jobtracker

13.测试

输入 192.168.0.223:5050 看看框架里有没有hadoop

图片 4

下面关于Hadoop的文章您也可能喜欢,不妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-11/125033.htm

图片 5

版权声明:本文由澳门新葡亰平台游戏发布于网络技术,转载请注明出处:CentOS 7 安装 Hadoop-cdh-2.5 on Mesos