(1)环境说明

hadoop的集群环境我已经在虚拟机上搭建并能正常运行(见前2篇文章),现在我要在windows下搭建hadoop+eclipse的开发环境。

(2)安装hadoop-eclipse-plugin-1.1.2.jar插件

hadoop-eclipse-plugin-1.1.2.jar这个插件大家可以自己编译,或者直接到网上下载。我是直接在网上下载安装。

下载好后,将hadoop-eclipse-plugin-1.1.2.jar放到eclipse安装目录下的plugins文件夹下。然后重启eclipse。

在window菜单下选择prefernece选项,可以看到右边出现Hadoop Map/Reduce选项,说明插件安装成功。

(3)添加hadoop文件夹路径

首相将下载好的hadoop-1.1.2.tar.gz源码包解压到某一个磁盘上。

启动eclipse,点击window菜单栏选择prefernece选项,在左侧点击Hadoop Map/Reduce选项,在右边的输入框输入你解压的hadoop-1.1.2.tar.gz文件夹位置即可。

(4)配置hadoop链接

选择window菜单栏下的show view选项下的other选项,在弹出的的框中选择Map/Reduce Locations选项。

这是你会在eclipse下看到多出了Map/Reduce Locations选项:

右键选择New Hadoop  Locations。

Host是你的Master主机的地址,Port是端口号,User name是你登陆的用户。

点击finish后你会连接上你的hadoop。

这是后你就可以上传或下载文件到hadoop上了。

如果出现上传或下载失败,那么请看下面这篇文章。我是通过添加JAVA_HOME=D:\Program Files\Java\jdk1.7.0_51这个系统变量来解决的。

http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/

备注:我也是刚起步学习hadoop,可能文章有一些不完整或错误的地方,还请大家多多指教,也希望能交流学习,互相促进提高。

打赏

发表评论

电子邮件地址不会被公开。