0环境搭建,Hadoop单节点安装部署

2019-11-08 06:15栏目:网络技术
TAG:

OpenStack目前已经成为众多云计算厂商搭建私有云的首选,众多学术机构也使用OpenStack搭建小规模测试环境供学生实验,在此分享使用OpenStack虚拟机搭建Hadoop2.2.0环境的过程。

澳门新葡亰平台游戏,下面我们来一步步的进行Hadoop安装部署:
从零开始

1.VM环境准备

机器环境
Distributor ID: CentOS
Description: CentOS release 5.8 (Final)
Release: 5.8
澳门新葡亰平台官网,Codename: Final
jdk 版本
java version "1.6.0_45"

OpenStack版本:Folsom

hadoop 版本
2.5.2

安装jdk:
从甲骨文官方下载:

jdk-6u45-linux-i586.bin

a. 发起三台测试虚拟机,操作系统为 Ubuntu-12.04.2-x86_64

在linux下面运行命令  ./jdk-6u45-linux-i586.bin
配置环境变量
vi /etc/profile
export JAVA_HOME=/snwz/java/install/jdk1.6.0_45
export JAVA_BIN=/snwz/java/install/jdk1.6.0_45/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

b. 配置IP地址,因为在F版本的OpenStack中,网络采用FlatDHCP模式使得虚拟机获得10.0.x.x段的Fixed IP地址,因此需要在虚拟机中配置/etc/hosts文件。

运行  java -version 检查是否jdk安装成功

# vim /etc/hosts

解压缩hadoop安装包,配置环境变量
$ cd /snwz/hadoop/install/hadoop-2.5.2/etc/hadoop
$ vi hadoop-env.sh
配置 java 和 hadoop 的目录
  # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest
  # Assuming your installation directory is /usr/local/hadoop
  export HADOOP_PREFIX=/usr/local/hadoop
配置完成后 运行 bin/hadoop 
显示hadoop信息后,说明环境配置完成,下面开始我们的hadoop之旅!!!!!!

127.0.0.1 localhost localhost.localdomain
10.0.0.225 hdp-server-01
10.0.1.19 hdp-server-02
10.0.1.17 hdp-server-03

首先 使用hadoop自带的mapreduce实例实测一下
$ mkdir input
 $ cp etc/hadoop/*.xml input
 $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
 $ cat output/*

c. 用root在每台机器上新建用户 yarn,使用同样的密码

成功后进入到output目录下
-rw-r--r-- 1 hadoop hadoop 11 01-08 14:04 part-r-00000
-rw-r--r-- 1 hadoop hadoop  0 01-08 14:04 _SUCCESS

# useradd -m -s /bin/bash yarn
# passwd yarn
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully

如果看到这两个文件,则说明mapreduce任务运行成功。

d. 设置ssh无密码互访

下面我们来部署一个假分布模式
在分布模式下,因为其他hadoop服务器要通过ssh访问本机hadoop,我们配置ssh免密码登陆
  $ ssh localhost
如果登陆不成功则执行下列命名
  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
在测试 ssh localhost
如果还是需要输入密码,从网上搜的解决办法,有一大堆呢:

为什么叫假分布呢?因为我们配置副本冗余为1,就是只存放在一个节点上,配置如下:
etc/hadoop/core-site.xml:
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

#每台机器
$ su yarn
$ cd ~
$ ssh-keygen -t rsa
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
#可以使用 ssh localhost 测试是否可以无密码访问
#相互之间可以将.ssh/authorized_keys的内容互拷到对方的.ssh/authorized_keys文件中。

etc/hadoop/hdfs-site.xml:

e. 使用yarn账户,通过/etc/hosts文件中填写的主机名进行互访,并验证是否无密码登录。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

因为采用64位的操作系统,因此不能够直接使用从官网下载的文件进行安装,必须手动编译。以下为编译过程:

配置完成后 需要将hadoop 的名称节点格式化
$ bin/hdfs namenode -format
启动dfs
$ sbin/start-dfs.sh
$ netstat -an | grep 9000
如果出现什么异常,日志都存放在 /snwz/hadoop/install/hadoop-2.5.2/logs
hadoop还提供了可视化界面来让用户更好了解当前hadoop各个节点情况,在浏览器中输入

2.编译Hadoop2.2.0

目前推荐使用yarn框架进行hadoop 的部署,关于yarn框架,我在后面会慢慢学习并和大家分享!!!!

a. 配置JDK环境变量,假设jdk文件夹为/usr/java/jdk1.7.0_45

今天因为任务提前完成,才有时间记录下忙里偷闲学习的内容,改天继续,下一篇文章要详细介绍集群环境下的配置,在下一章,一个基本的大框架就要搭建起来了,我们拭目以待吧 。

su yarn
# vim ~/.bashrc
# 追加写入

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

export JAVA_HOME=/usr/local/java/jdk1.7.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

$source ~/.bashrc #使设置生效

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

 

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

 

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

相关阅读

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

在Ubuntu 12.10 上安装部署Openstack http://www.linuxidc.com/Linux/2013-08/88184.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Ubuntu 12.04 OpenStack Swift单节点部署手册 http://www.linuxidc.com/Linux/2013-08/88182.htm

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

OpenStack云计算快速入门教程 http://www.linuxidc.com/Linux/2013-08/88186.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

企业部署OpenStack:该做与不该做的事 http://www.linuxidc.com/Linux/2013-09/90428.htm

本文永久更新链接地址:http://www.linuxidc.com/Linux/2015-02/113640.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

澳门新葡亰平台官网 1

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

澳门新葡亰平台官网 2

版权声明:本文由澳门新葡亰平台游戏发布于网络技术,转载请注明出处:0环境搭建,Hadoop单节点安装部署