Hadoop学习笔记(4) ——搭建开发环境及编写Hello World

Hadoop学习笔记(4)

——搭建开发环境及编写Hello World

整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA。在linux下开发JAVA还数eclipse方便。

  1. 下载

进入官网:http://eclipse.org/downloads/

找到相应的版本进行下载,我这里用的是eclipse-SDK-3.7.1-linux-gtk版本。

  1. 解压

下载下来一般是tar.gz文件,运行:

$tar -zxvf eclipse-SDK-3.7.1-linux-gtk.tar.gz -c ~/Tool

这里Tool是需要解压的目录。

解完后,在tool下,就可以看到eclipse文件夹。

运行:

$~/Tool/eclipse/eclipse

  1. 创建开始菜单项

每次运行时,输入命令行比较麻烦,最好能创建在左侧快捷菜单上。

$sudo gedit /usr/share/applications/eclipse.desktop

1.启动文本编译器,并创建文件,添加以下内容:

[Desktop Entry]

Version=1.0

Encoding=UTF-8

Name=Eclipse3.7.1

Exec=eclipse

TryExec=eclipse

Comment=Eclipse3.7.1,EclipseSDK

Exec=/usr/zjf/Tool/eclipse/eclipse

Icon=/usr/ zjf/Tool/eclipse/icon.xpm

Terminal=false

Type=Application

Categories=Application;Development;

[注意上面的路径]

2.创建启动器

sudo gedit /usr/bin/eclipse

添加如下内容

#!/bin/sh

export MOZILLA_FIVE_HOME="/usr/lib/mozilla/"

export ECLIPSE_HOME="/usr/local/eclipse"

$ECLIPSE_HOME/eclipse $*

3.添加可执行权限

sudo chmod +x /usr/bin/eclipse

4.在开始菜单中输入eclipse:

就会看到软件图标,然后将其拖到左侧工具条中即可。

  1. 下载hadoop在eclise中的插件并配置

直接在网上搜:hadoop-0.20.2-eclipse-plugin.jar

https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

下载后,将jar包放在eclipse安装目录下的plugins文件夹下。然后启动eclipse

第一次启动eclpse后,会让我们设定一个工作目录,即以后建的项目都在这个工作目录下。

进入后,在菜单window->Rreferences下打开设置:

点击browse选择hadoop的源码下的Build目录,然后点OK

打开Window->View View->Other 选择Map/Reduce Tools,单击Map/Reduce Locations,会打开一个View,

添加Hadoop Loacation,其中Host和Port的内容跟据conf/hadoop-site.xml的配置填写,UserName 是用户名,如

在配置完后,在Project Explorer中就可以浏览到DFS中的文件,一级级展开,可以看到之前我们上传的in文件夹,以及当是存放的2个txt文件,同时看到一个在计算完后的out文件夹。

现在我们要准备自己写个Hadoop 程序了,所以我们要把这个out文件夹删除,有两种方式,一是可以在这树上,执行右健删除。 二是可以用命令行:

$bin/hadoop fs -rmr out

用$bin/hadoop fs -ls 查看

  1. 编写HelloWorld

环境搭建好了,之前运行Hadoop时,直接用了examples中的示例程序跑了下,现在可以自己来写这个HelloWorld了。

在eclipse菜单下 new Project 可以看到,里面增加了Map/Reduce选项:

选中,点下一步:

输入项目名称后,继续(next), 再点Finish

然后在Project Explorer中就可以看到该项目了,展开,src发现里面啥也没有,于是右健菜单,新建类(new->new class):

然后点击Finish,就可以看到创建了一个java类了:

然后在这个类中填入代码:

public static class TokenizerMapper

extends Mapper<Object, Text, Text, IntWritable>{

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

public void map(Object key, Text value, Context context

) throws IOException, InterruptedException {

System.out.println("key=" +key.toString());

System.out.println("Value=" + value.toString());

StringTokenizer itr = new StringTokenizer(value.toString());

while (itr.hasMoreTokens()) {

word.set(itr.nextToken());

context.write(word, one);

}

}

}

public static class IntSumReducer

extends Reducer<Text,IntWritable,Text,IntWritable> {

private IntWritable result = new IntWritable();

public void reduce(Text key, Iterable<IntWritable> values,

Context context

) throws IOException, InterruptedException {

int sum = 0;

for (IntWritable val : values) {

sum += val.get();

}

result.set(sum);

context.write(key, result);

}

}

public static void main(String[] args) throws Exception {

Configuration conf = new Configuration();

System.out.println("url:" + conf.get("fs.default.name"));

String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

if (otherArgs.length != 2) {

System.err.println("Usage: wordcount <in> <out>");

System.exit(2);

}

Job job = new Job(conf, "word count");

job.setJarByClass(WordCount.class);

job.setMapperClass(TokenizerMapper.class);

job.setCombinerClass(IntSumReducer.class);

job.setReducerClass(IntSumReducer.class);

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(IntWritable.class);

FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

System.exit(job.waitForCompletion(true) ? 0 : 1);

}

填入代码后,会看到一些错误,没关系,点击边上的红叉,然后选择里面的import即可;

如果想偷懒,则可以直接在类的开头帖入下面的这些引用:

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

这里,如果直接用源码来操作,可能会GenericOptionsParser这个类找不到定义,还是红叉,没关系,如果还是红叉,可以添加commons-cli-1.2.jar

这个jar包,在build/ivy/lib/Hadoop/Common下,右健Project Explorer中的MyHelloWorld工程,选择Build Path->Config Build Path

在Liberaries Tab页下,点击Add External JARs 在弹出窗口中,跟据前面说的目录,找到这个jar包,点确定后,回到工程,可以看到红叉消失,说明编译都通过了。

在确保整个工程没有错误后,点击上面的小绿箭头,然后在弹出的小窗口上,选择Run On Hadoop:

点OK后,会弹出小窗口:

然手中选择Choose an existing server from the list below。然后找到之前配置的地址项,选中后,点Finish,然后系统不会Run起来,在控制台(双击可最大化)中可以看到运行结果:

运行完后,用命令行可以看到 $bin/hadoop fs –ls 可以看到多了一个out文件夹,再用$bin/hadoop fs –cat out/*可以将out文件夹内容全显示出来,则可以看到单词的统计结果来。

问题1 :过程中,如果点了Run On Hadoop没有反应,则可能你下的这个有问题,重新到:https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar

上下载,然后将下载的插件重命名为"hadoop-0.20.2-eclipse-plugin.jar",放入eclipse中的plugins目录下。

问题2:运行后,如果结果里只输入了个usage <in> <out>,则需要修改下参数,在运行菜单边上小箭头,下拉,点击Run Configuration,:

左边选中 JavaApplication中的 WordCount,右边,在Arguments中输入 in out。

然后再点Run 就可以看到结果了。

问题3:第二次运行会报错,仔细看提示,可以看到报错的是out目录已经存在,所以需要手动来删除一下。

好了,结果出来了,该收工了!

什么?收工? 还没看懂程序呢!!

不急。一口吃不了胖子,慢慢来,学一些新东西,我喜欢先依葫芦画瓢然后再慢慢深入。 先能让程序入。 先能让程序正常跑起来,然后再来边学边改边运行。

时间: 02-09

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World的相关文章

C语言入门学习教程-1.搭建开发环境

学习一门好的编程语言,对于一个网络安全爱好者来说就如同手持一把利剑.而对于学习安全的人来说最好的编程语言一定是越贴近底层越好.所以,推荐大家学习C语言.为了方便大家学习,我就将我学习C语言时的学习笔记进行了整理,发到我的博客上http://2937605316.blog.51cto.com/.每日更新,欢迎订阅.(求赞,求转!:)),也欢迎想要学习网络安全的朋友加入我们"VirtualSec|虚拟安全"小组(如果,想要加入的可以联系我QQ:2937605316). 那么说了这么多,就开

Android 学习笔记 2 Android开发环境的安装(Eclipse Bundle)

搭建eclipse开发环境,一般要经过 安装JDK.安装Eclipse.下载Android SDK.在Eclipse中安装ADT.在Eclipse中配置Android SDK.通过SDK Manager对Android SDK进行管理等几个比较麻烦的步骤. 后来Google推出了 adt-bundle 将ATD.SDK整合到Eclipse中,这样对于新手来说就免去了很多步骤,入门更容易了. 在此推荐一个网站 http://tools.android-studio.org/ 可以免去搬梯子去And

go语言学习笔记1 Go开发环境

什么是Go?Go是一门并发支持.垃圾回收的编译型系统编程语言,旨在创造一门具有在静态编译语言的高性能和动态语言的高效开发之间拥有良好平衡的一门编程语言. Go的主要特点有哪些?* 类型安全 和 内存安全* 以非常直观和极低代价的方案实现高并发* 高效的垃圾回收机制* 快速编译(同时解决C语言中头文件太多的问题:去除掉实际上没有用的头文件,如果头文件没有用会跳出编译异常)* 为多核计算机提供性能提升的方案* UTF-8编码支持 Go存在的价值是什么?Go在谷歌:以软件工程为目的的语言设计 http

C#学习笔记一:C#开发环境的设置

C#是.NET Framework的一部分,用于编写.NET应用程序. C#集成开发环境(IDE) 微软提供了以下C#编程开发工具: Visual Studio 2010 (VS) Visual C# 2010 Express (VCE) Visual Web Developer 最后两个是可以免费从微软的官方网站下载.利用这些工具,可以写各种各样的C#程序,从简单的命令行应用程序更复杂的应用.也可以使用一个基本的文本编辑器,如记事本编写C#源代码文件和代码编译成使用命令行编译器,这也是.NET

学习笔记2-安卓开发环境搭建、创建虚拟机

下载安装开发插件ADT 1.      http://dl.google.com/android/ADT-22.3.0.zip 后面是对应版本就可以.可以根据自己需求下载 我用的是15.0.0 百度网盘下载链接:http://pan.baidu.com/s/1nt4zsut 密码:5o2d 2.      我使用的是eclipse luna/Kepler,Help→Install New Software→Add name:ADT location:选择ADT文件 全选,把最下面的自动连接网络更

Hibernate单表映射学习笔记之一——hibernalnate开发环境配置

1.什么是ORM? Object/Relationship Mapping:对象/关系映射 2.写SQL语句不好之处: (1)不同数据库使用的SQL语法不同(PL/SQL.T/SQL) (2)同样的功能在不同的数据库中有不同的实现方式(分页SQL) (3)过分依赖SQL语句对程序的移植和拓展不利 3.Hibernate (1)ORM框架技术 (2)对JDBC进行了非常轻量的对象封装 4.其他ORM框架技术 (1)Mybatis(前身为iBatis) (2)Toplink(现为Oracle As

Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境

0.前言 本文参考博客:http://www.51itong.net/eclipse-hadoop2-7-0-12448.html 搭建开发环境前保障已经搭建好hadoop的伪分布式.可参考上个博客: http://blog.csdn.net/xummgg/article/details/51173072 1.下载安装eclipse 下载网址:http://www.eclipse.org/downloads/ 因为运行在ubuntu下,所以下载linux 64为的版本(支持javaEE),下载后

Hadoop学习笔记(3)——分布式环境搭建

Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在

ExtJs学习-搭建开发环境

Extjs是一个非常棒的ajax框架,可以用来开发十分绚丽外观的客户端框架,能使B/S框架更加具有活力.它是一个用javascript编写的框架,与后台技术无关的ajax框架.因此,可以把ExtJs使用在asp.net.java.php等语言开发的应用程序中. 本人学习使用的是3.4版本,在3.4版本上进行学习和实验. 首先是获取Extjs框架,下载之后,解压文件到当前文件夹,目录如下所示: 编写第一个ExtJS程序 在eclipse工具中新建一个项目,引入ExtJs类库,代码在Eclipse中