(1)我的电脑环境

CentOS6.5,32位,在虚拟机下实现。

注意:下面的操作我都是使用root权限进行!

(2)jdk1.6的安装

这里,我使用的jdk安装包如下,大家可以上网自行下载,这里推荐jdk为1.6为好,最好不要哦用1.7.

将jdk安装包移动到/usr/local这个目录下,(local下的文件可以删除,没有用的)。

然后首先是给jdk安装包“X”的执行权限,chmod   u+x   jdk-6u24-linux-i586.bin。

然后就是执行安装即可,jdk-6u24-linux-i586.bin。

然后将/usr/local下jdk的文件夹从命名为jdk。

(3)设置环境变量

接下来就是配置环境变量:

vi   /etc/profile

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

输入 source /etc/profile使配置文件生效。

检查jdk是否安装配置成功,java -version,若显示如下,表示安装成功。

(4)配置SSH免密码登陆

1.查看当前用户下(root)是否有.ssh的隐藏文件,如果没有就创建一个mkdir .ssh

2.输入ssh-keygen -t  rsa

这个命令会在.ssh文件夹下生成id_dsa和id_ds.pub两个文件,这私钥和公钥。

3.输入cp id_rsa.pub authorized_keys

这条命令是把公钥加到用于认证的公钥文件中

4.验证SSH是否安装成功,以及是否可以免密码登陆本机

ssh  localhost

如果显示如下,表示安装成功

(5)修改主机名

为了方便,这里我把主机名改为hadoop;

输入:hostname可以显示当前主机名;

输入:vi /etc/sysconfig/network修改HOSTNAME,如下,保存并退出

(6)将hostname与ip地址绑定

这个时候,如果直接ping hadoop0,那么是不成功的,因为hadoop0没有和本机地址绑定;

输入:vi  /etc/hosts,增加一行:

192.168.1.105   hadoop0

这里192.168.1.105是我本机的Ip地址,之后再ping hadoop0就成功了。

(7)安装并运行hadoop

下载并将hadoop-1.1.2.tar.gz解压到当前用户目录下(/usr/local)。

tar -zxvf   hadoop-1.1.2.tar.gz。然后将hadoop文件夹重命名为hadoop。

采用伪分布式hadoop配置

进入hadoop文件夹下的conf夹,修改配置文件。

1.指定jdk安装位置:

Hadoop-env.sh:

export  JAVA_HOME=/usr/local/jdk

2.hadoop核心配置文件,配置HDFS地址和段口号。

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
</configuration>

注意:这里hadoop是你的电脑主机名,根据自己的主机名来修改。

3.hdfs-site.xml,默认的配置方式是3,在单机版的hadoop中,将其改为1

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

4.配置MapReduce文件,配置JobTracker的地址和端口

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
</configuration>

注意:这里hadoop是你的电脑主机名,根据自己的主机名来修改。

5.接下来,在启动hadoop前,需要格式化hadoop的HDFS。进入hadoop文件夹,

输入bin/hadoop namenode -format

格式化文件系统,接下来启动hadoop

输入命令,启动所有进程:

bin/start-all.sh

可以通过jps命令来查看运行的进程,如果成功运行,那么将会有5个进程运行,如下图:

分别是:JobTracker、secondaryNameNode、TaskTracker、NameNode和DataNode。

为了方便,也可以把/usr/local/hadoop/bin的路径添加到PATH下,那么久可以直接通过命令:start-all.sh来启动。

vi /etc/profile

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin

最后验证hadoop是否安装成功。

打开浏览器,分别输入网址:

localhost:50030(mapreduce的web页面)

localhost:50070(HDFS的web页面)

如果想在windows下访问这两个网址,那么就需要关闭centos的防火墙,否则访问不了。

命令:service iptables stop

使用:chkconfig iptables off,可以关闭防火墙的自动运行

备注:我也是刚起步学习hadoop,可能文章有一些不完整或错误的地方,还请大家多多指教,也希望能交流学习,互相促进提高。微笑

打赏

发表评论

电子邮件地址不会被公开。