2014年12月总结和2014年1月计划

2014年12月总结:

这月1号新工作开始了我的大数据之旅,从.NET转向Hadoop。工作期间遇到了解决的没有解决的有各种坑,不过好在算是把整套业务给搭建了下来。大体使用的技术及流程如下:

mosquittio->flume agent->flume collector->sparkstreaming/hive->mysql/redis。使用的是CDH5.2.0。 spark使用的是spark on yarn

实际上只是勉强搭建出来勉强负担现在的业务,大部分东西只是知道大概如何使用,不清楚具体的原理,当项目推展开数据上来后,心里完全是没有底的,这也是没办法,时间太紧了。希望下个月兼顾工作的同时,能对现在的事情心里有个底儿吧。

同时,这月开始试着去写博客,在博客中记录我工作期间遇到并解决的坑,和工作期间学习的一些知识一些心得。

2015年1月计划:

1、学习并熟悉使用spark ,spark sql,sparkstreaming,熟悉其中的原理,熟悉优化,熟悉如何评估集群的负载能力。(针对多少量的数据,使用什么样的集群)

2、通读一下flume的源码,解决一下期间我自己留下的各种疑惑。 同时也需要确定如何评估和监测flume的具体负载能力。 将来生产环境的数据量是随着上的客户增多而增多的,大体的数据规模是可以预测的。 但我对于flume的负载能力是一点都没有底,希望通过研读代码来确定这些。

3、 期间正在学习炼数成金的算法导论,所以继续学习

4、将手里的Spark大数据处理读完,并且开始阅读hadoop权威指南(第三版)

时间: 12-30

2014年12月总结和2014年1月计划的相关文章

关于做好成都2014年12月上全国专业技术人员计算机应用能力考试的安排

关于做好2014年12月上全国专业技术人员计算机应用能力 考试考务工作有关问题的通知 各区(市)县人力资源与社会保障局.市级各部门,中央驻蓉单位.各大院(校)人事处(科): 现将成都市2014年12月(上)专业技术人员计算机应用能力考试考务工作有关事项通知如下: 一.报名日期 报名日期:2014年11月15日至2014年12月5日. 缴费截止日期:2014年12月5日. 网上准考证打印日期:2014年12月10日至12月12日(逾期未打印者,视为自动放弃). 考试开始日期:2014年12月13日

项目管理者联盟PMP培训班招生简章(针对2014年12月考试)

PMP认证培训班招生简章(针对2014年12月考试) 主办单位:项目管理者联盟  开课城市:北京 开课时间:2014年10月12日 面向对象 各类科技与研发.IT软件与通信.工程与设计等项目导向型企业的各级管理人员与项目管理人员.项目经理与技术经理,有志于成长为项目经理的优秀工程师与技术骨干. 课程优势 l 十年美国项目管理学会全球教育合作伙伴(Global R.E.P. No. 3254),2003年开始PMP培训,课程质量业界认可,服务专业.专注. l 国内最强大的PMP专家团队.主讲老师具

米的建站日记(2014年12月9日)

后台框架准备用struts2.2.3 + spring3.1.0 + mybatis3.1.0 这是在网上找到的一位大牛的demo http://blog.csdn.net/afgasdg/article/details/7392367 额,自己找太麻烦了,就用他的吧 数据库使用mongodb,这个我从来没用过,关系型数据库以前倒是用过,暂且边学边做把.~ ~ 各种jar包,js库,现在加起来快22M了呢. 奇怪,为毛项目启动就报错,我想应该是spring的配置文件还没有和数据库连上,明天准备看

周浩晖 - 斗宴(2014年12月27日)

<死亡通知单:暗黑者> 作 者:周浩晖译 者:系 列:暗黑者出 版:时代文华书局字 数:255千字阅读完成:2014年11月10日

云计算之路-阿里云上-寒流来袭:2014年12月23日21:45-23:15网站故障

1个多小时间的网站故障给大家带来很大的麻烦,在这里我们表示深深的歉意!希望大家能够谅解! 这两天上海的气温在回升,而杭州的云上却突然袭来一股寒流. 12月23日晚上,阿里云进行了一次RDS的发布,在这次发布中自动地修改了我们的数据库连接数限制,谁也不知道,然后... 21:45:52左右开始,日志中出现大量执行时间超过5秒的请求. 然后出现超过10秒.20秒...甚至超过100秒的请求. 21:46:50左右,开始出现数据库连接错误: System.Data.SqlClient.SqlExcep

时间处理:计算下一天日期,如输入&quot;2004/12/31&quot;(注释2014年12月31日),则输出&quot;2005/1/1&quot;.

/* ============================================================================ Name : Exercise.c Author : haier Version : 0.01 Copyright : Your copyright notice Description : Ansi-style, Compile by Code:Blocks, Platform Linux =======================

2014年12月日本語能力試験N3聴解部分

2014年12月12日

米的建站日记(2014年12月18日)

mongodb 看不懂啊,网上入门的中文教程太少了,英文我又看不懂,晕. 最近项目太忙了,压力山大 ··.偶的小站先搁一段时间. 今天白天一天白做了,全部还原了,汗,沟通不明确,偶理解错了,结果就白做了,悲剧,同学们这是血淋淋的教训啊,大家别像我一样急着做,越是急越容易出乱子,一定要先搞清楚需求先~! 额,以上.