Eclipse 导入 Hadoop 源码

1.准备工作


  • jdk:

  • eclipse:

  • Maven:

  • libprotoc :https://developers.google.com/protocol-buffers/

  • hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/


添加开源中国maven库:http://maven.oschina.net/home.html

maven\conf\settings.xml

<localRepository>path</localRepository>


<localRepository>path</localRepository>
<mirrors>
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexus osc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
</mirrors>

2.导入


  1. 将hadoop源码解压到一个目录,注意目录层次不要太深,否则可能无法解压。

  2. 进入hadoop-maven-plugins文件夹,执行 mvn install

  3. 返回源码根目录,执行 mvn eclipse:eclipse
    –DskipTests

  4. eclipse在任意目录创建新的WorkSpace

  5. eclipse设置Maven:window->preference->maven->{Installations...;user
    Settings:maven\conf\settings.xml}

  6. eclipse:File->inport->Existing Projects into
    WorkSpace->Hadoop源码根目录

3.错误处理


  1. maven下载pom失败->重新操作

  2. hadoop-streaming中build path错误->Java Build Path->Source:
    1. 删除...hadoop-yarn-server-resourcemanager/conf

    2. Link
      Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,再随便起个名字;inclusion
      patterns:capacity-scheduler.xml;exclusion patters:**/*.java

  3. org.apache.hadoop.io.serializer.avro.TestAvroSerialization

    1. 下载avro-tools-1.7.4.jar:http://archive.apache.org/dist/avro/avro-1.7.4/java/

    2. 进入目录:源码根目录\hadoop-common-project\hadoop-common\src\test\avro

    3. java -jar path/to/avro-tools-1.7.4.jar compile schema avroRecord.avsc
      ..\java

    4. eclipse 刷新

  4. org.apache.hadoop.ipc.protobuf.TestProtos

    1. 进入目录:源码根目录\hadoop-common-project\hadoop-common\src\test\proto

    2. protoc --java_out=../java *.proto

    3. eclipse 刷新

  5. project->clean..->clean all projects & Build the entire
    workspace

Eclipse 导入 Hadoop 源码

时间: 06-09

Eclipse 导入 Hadoop 源码的相关文章

Hadoop1.x目录结构及Eclipse导入Hadoop源码项目

这是解压hadoop后,hadoop-1.2.1目录 各目录结构及说明: Eclipse导入Hadoop源码项目: 注意:如果没有ant的包可以去网上下,不是hadoop里面的. 然后如果通过以上还报错的话,可以右键点击项目,然后如下图(配置**/*):

安装Hadoop系列 — 导入Hadoop源码项目

将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件. 第一步:在Eclipse新建一个Java项目,hadoop-1.0.3 第二步:将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录 第三步:修改将Java Build Path,删除src,添加src/core, src/hdfs....几个源码目录 第四步:为Java Build Pat

eclipse 导入tomcat7源码

导入tomcat的源码其实说简单也不简单,说不简单也简单,主要还是环境问题,中间花费了我很多时间,网上找了很多都没什么用,参考一些文章,然后自己慢慢摸索出来的. 环境:(1)jdk:jdk1.6.0_45  我下的是这个版本,只要是jdk1.6的就可以(1.7是编译不了的,反正我是不行,最后配置了多个1.6)jdk6下载地址 (2)ant:apache-ant-1.9.6 应该1.7以上的都可以  http://ant.apache.org/bindownload.cgi (3)tomcat:a

Hadoop源码导入Eclipse

需要进一步学习hadoop.需要看看内部源码实现,因此需要将hadoop源码导入都eclipse中,简单总结一下,具体步骤如下: 首先确保已经安装了git.maven3.protobuf2.5.如果没有安装需要提前安装一下 1.下载hadoop源码 git clone git://git.apache.org/hadoop-common.git 2.进入hadoop-common目录,用maven生成eclipse工程 mvn install -DskipTests mvn eclipse:ec

eclipse中导入jdk源码、SpringMVC注解@RequestParam、SpringMVC文件上传源码解析、ajax上传excel文件

eclipse中导入jdk源码:http://blog.csdn.net/evolly/article/details/18403321, http://www.codingwhy.com/view/799.html. ------------------------------- SpringMVC注解@RequestParam:http://825635381.iteye.com/blog/2196911. --------------------------- SpringMVC文件上传源

编译Hadoop源码

背景: 在阅读hadoop源代码过程中会发现部分类或者函数无法找到,这是由于Hadoop2.0使用了Protocol Buffers定义了RPC协议, 而这些Protocol Buffers文件在Maven编译源代码才会生成对应的java类,因此若其他类在源代码中引用这些类则暂时无法找到. 解决办法就是先对hadoop源码进行编译,再导入eclipse工程. 一.基础软件: 软件 下载地址 推荐版本 JDK http://www.oracle.com/technetwork/java/javas

Hadoop源码如何查看

如何查看hadoop源码 1解压hadoop安装压缩文件成为文件夹,再进入解压后的文件夹下的src文件夹,选中core,hdfs,mapred三个文件夹 2打开eclipse新建一个Java工程项目 3将步骤1中的三个文件夹复制到新建的工程的src目录下 此时会出现2个问题:1是因为缺少工程文件的jar包 2是因为src下的3个文件的路径不对,需要修改其对应的路径 4右键工程名选择最后一项proprity(属性)--->选择左面的Java build path--->先删掉右面的Source下

Hadoop源码学习笔记(1) ——第二季开始——找到Main函数及读一读Configure类

Hadoop源码学习笔记(1) ——找到Main函数及读一读Configure类 前面在第一季中,我们简单地研究了下Hadoop是什么,怎么用.在这开源的大牛作品的诱惑下,接下来我们要研究一下它是如何实现的. 提前申明,本人是一直搞.net的,对java略为生疏,所以在学习该作品时,会时不时插入对java的学习,到时也会摆一些上来,包括一下设计模式之类的.欢迎高手指正. 整个学习过程,我们主要通过eclipse来学习,之前已经讲过如何在eclipse中搭建调试环境,这里就不多述了. 在之前源码初

探秘Tomcat(一)——Myeclipse中导入Tomcat源码

前言:有的时候自己不知道自己是井底之蛙,这并没有什么可怕的,因为你只要蜷缩在方寸之间的井里,无数次的生活轨迹无非最终归结还是一个圆形:但是可怕的是有一天你不得不从井里跳出来生活,需要重新审视井以外的生活,你就会发现世界如此美好,我知道的如此的少! 好比,但你看到如下代码 namespace Singleton { public class Singleton { private static Singleton singleton; private Singleton() { } public

Mac搭建Hadoop源码阅读环境

1.本次Hadoop源码阅读环境使用的阅读工具是idea,Hadoop版本是2.7.3.需要安装的工具包括idea.jdk.maven.protobuf等 2.jdk,使用的版本是1.8版,在jdk官网下载jdk-8u111-macosx-x64.dmg,点击安装,一路next. 3.idea安装,略 4.maven,使用的版本是3.3.9,下载apache-maven-3.3.9-bin.tar,解压: tar -zxvf  apache-maven-3.3.9-bin.tar 进入 Mave