Hadoop学习笔记_1_Hadoop源起与体系概述

Hadoop源起与体系概述

引[一个典型的实验环境]:

1.服务器: ESXi,可以在上面部署10多台虚拟机,能同时启动4台;

ESXi可以直接安装在裸机上面,而不用首先安装一个WinServer或Linux(StandAlone安装)。

ESXi在本质上就是一个高度定制化的Linux,其内核与周边环境都被VMWare公司修改了。

2.PC:要求Linux环境或Windows+Cygwin,Linux可以是StandAlone或者使用虚拟机

3.SSH:Windows下可以使用SecureCRT或putty等ssh client程序,作用是用来远程连接Linux服务器,Linux下可以直接使用ssh命令

4.Vmware client:用于管理ESXi

5.Hadoop版本:由于Hadoop不同版本之间差异很大,不同版本之间的继承性也不是很高,在学习的初期选择一个跟市面上的大部分教材相同的Hadoop版本,是比较推荐的;在学成之后,对Hadoop已经非常熟悉了,再用最新版本是比较好的.

Hadoop的思想之源:Google

Google搜索引擎,Gmail,安卓,Google Maps,Google earth,Google学术,Google翻译,Google+,Appspot,下一步Google what??

Google的低成本之道

1.不使用超级计算机,不使用存储(如阿里巴巴的去IOE之路)

2.大量使用普通的pc服务器(去掉机箱,外设,硬盘),提供有冗余的集群服务

3. 全世界多个数据中心,有些附带发电厂

4.运营商向Google倒付费O(∩_∩)O~

集装箱数据中心:位于 Mountain View, Calif 总部的数据中心

总功率为10000千瓦,拥有45个集装箱,每个集装箱都由Google自行标准化设计,每个集装箱中有1160台服务器,该数据中心的能效比为1.25( PUE 为 1 表示数据中心没有能源损耗,而根据2006年的统计,一般公司数据中心的能效比为 2.0 或更高。Google 的 1.16 已经低于美国能源部2011年的1.2 的目标)

Google面对的数据和计算难题

1.大量的网页怎么存储?

2.搜索算法

3.Page-Rank计算问题

倒排索引

Page Rank

Page Rank是Google最核心的算法,用于给每个网页价值评分,是Google“在垃圾中找黄金”的关键算法,这个算法成就了今天的Google,因此,Google从未将其细节披露过,而是将其工作机制发表成了几篇论文,介绍Page Rank是怎样计算的.

PageRank的算法思想:一个网页的价值等于指向他的链接数,但是不同的链接拥有不同的权值,比如国务院的网站与咱们的个人博客网站的权值就不一样...

虽然数学上已经证明是可计算的,但是如此大的计算量是没有办法用计算机实现的.

Map-reduce思想:计算PR

总结:Google带给我们的关键技术和思想

1.GFS(Hadoop中:HDFS)

2.Map-Reduce(Hadoop中:Map-Reduce)

3.Bigtable(Hadoop中:HBase子项目)

Hadoop学习笔记_1_Hadoop源起与体系概述

时间: 07-30

Hadoop学习笔记_1_Hadoop源起与体系概述的相关文章

Hadoop学习笔记_2_Hadoop源起与体系概述[续]

Hadoop源起与体系概述 Hadoop的源起--Lucene Lucene是Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎 早期发布在个人网站和SourceForge,2001年年底成为apache软件基金会jakarta的一个子项目 Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎 对于大数据的

Hadoop学习笔记(9) ——源码初窥

Hadoop学习笔记(9) ——源码初窥 之前我们把Hadoop算是入了门,下载的源码,写了HelloWorld,简要分析了其编程要点,然后也编了个较复杂的示例.接下来其实就有两条路可走了,一条是继续深入研究其编程及部署等,让其功能使用的淋漓尽致.二是停下来,先看看其源码,研究下如何实现的.在这里我就选择第二条路. 研究源码,那我们就来先看一下整个目录里有点啥: 这个是刚下完代码后,目录列表中的内容. 目录/文件 说明 bin 下面存放着可执行的sh命名,所有操作都在这里 conf 配置文件所在

Hadoop学习笔记(10) ——搭建源码学习环境

Hadoop学习笔记(10) ——搭建源码学习环境 上一章中,我们对整个hadoop的目录及源码目录有了一个初步的了解,接下来计划深入学习一下这头神象作品了.但是看代码用什么,难不成gedit?,单步调试呢? 看程序不能调那多痛苦啊,想看跟踪一下变量,想看一下执行路径都难. 所以这里,我们得把这个调试环境搭建起来.Hadoop的主要代码是用java编写的,所以这里就选用eclipse作为环境. Hadoop目录下,本身就可以为作eclipse的一个工程来操作,但这里我不想,我想自己来建一个工程,

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World

Hadoop学习笔记(4) ——搭建开发环境及编写Hello World 整个Hadoop是基于Java开发的,所以要开发Hadoop相应的程序就得用JAVA.在linux下开发JAVA还数eclipse方便. 下载 进入官网:http://eclipse.org/downloads/. 找到相应的版本进行下载,我这里用的是eclipse-SDK-3.7.1-linux-gtk版本. 解压 下载下来一般是tar.gz文件,运行: $tar -zxvf eclipse-SDK-3.7.1-linu

hadoop 学习笔记:mapreduce框架详解

hadoop 学习笔记:mapreduce框架详解 开始聊mapreduce,mapreduce是hadoop的计算框架,我 学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能是我做技术研究的 思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正理解了这套技术解决了什么问题时候,我后续的学习就能逐步的加快,而学习 hdfs时候我就发现,要理解hadoop框架的意义,hdfs和mapreduce是密不

Hadoop学习笔记(3)——分布式环境搭建

Hadoop学习笔记(3) ——分布式环境搭建 前面,我们已经在单机上把Hadoop运行起来了,但我们知道Hadoop支持分布式的,而它的优点就是在分布上突出的,所以我们得搭个环境模拟一下. 在这里,我们采用这样的策略来模拟环境,我们使用3台ubuntu机器,1台为作主机(master),另外2台作为从机(slaver).同时,这台主机,我们就用第一章中搭建好的环境来. 我们采用与第一章中相似的步骤来操作: 运行环境搭建 在前面,我们知道,运行hadoop是在linux上运行的.所以我们单机就在

Hadoop学习笔记(一)——Hadoop体系结构

HDFS和MapReduce是Hadoop的两大核心.整个Hadoop体系结构主要是通过HDFS来实现分布式存储的底层支持的,并且通过MapReduce来实现分布式并行任务处理的程序支持. 一.HDFS体系结构 HDFS采用了主从(Master/Slave)结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成的.其中,NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作:集群中的DataNode管理存储的数据.HDFS典型的部署是在一个专门的机器

Hadoop学习笔记0004——eclipse安装hadoop插件

Hadoop学习笔记0004--eclipse安装hadoop插件 1.下载hadoop-1.2.1.tar.gz,解压到win7下hadoop-1.2.1: 2.如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包,就到网上下载下来: 3.关闭eclipse,然后将hadoop-eclipse-plugin-1.2.1.jar拷贝到eclipse安装目录下的eclipse-x.x\plugins文件夹下,重启eclipse 4.在eclipse中顶

Hadoop学习笔记(6) ——重新认识Hadoop

Hadoop学习笔记(6) ——重新认识Hadoop 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果.现是得开始稍微更深入地了解hadoop了. Hadoop包含了两大功能DFS和MapReduce, DFS可以理解为一个分布式文件系统,存储而已,所以这里暂时就不深入研究了,等后面读了其源码后,再来深入分析. 所以这里主要来研究一下MapReduce. 这样,我们先来看一下MapReduce的思想来源: alert("I'd like some Spaghetti!