说说这些年做的云计算和大数据项目

入行十几年了,做了不少分布计算、并行计算、内存计算、海量数据处理的项目,按照现在的分类,这些都属于云计算/大数据范畴。今天说说我做过的其中三个项目,只三个。
        第一个是我们接到的视频分享网站的视频转码的订单,网站名字就不说了,有替人宣传嫌疑。他们情况是这样,视频网站的内容用MP4格式在网页上播放,但是上传的格式多种多样,我们必须把这些视频统一转换成MP4格式,视频转码的工作想必大家都在自己的电脑上试过,通常一个100M左右的视频转码需要20分钟以上(CPU是Pentium IV)。为了提高转码效率,让用户以接近实时得到结果,必须在收完视频后,立即将一个视频拆分成多个单元,分散到多台计算机上进行转码,然后回收所有转码视频,按照顺序再次组合成一个新视频。我估计现在视频网站都是这个套路。我们这个团队最早是做流媒体起家的,工作没什么难度,轻车熟路,很快就完成了。只要机器足够多,视频差不多可以以接近实时的状态完成转码。后来又再一次改进,从用户上传视频开始立即进行转码,收到一段转一段,用户的视频上传完毕,我们的转码工作也完成,用户可以马上看到自己上传的转码后视频,基本上是零延时,并且稳定性、效率都高于对方提出的要求。做完这个,合作方老板很满意,接着又给了一个CDN的项目。现在我们仍保持着合作的关系。

第二个有点玄乎,项目可以写一篇论文,题目是《关于空中移动目标运行轨迹和落点的问题》。这个项目是XXX发下来的,实质就是炮弹打导弹,大概是想看看能不能打着,论证技术可行性。当时人还在某单位,因为研究领域和空气动力学毫不相关,所以这方面的知识基本属于文盲,知道的也就是那么几个有限的名词和数学公式,但是这正好符合XXX的要求,不需要我们懂这些高深的理论,他们派人和我们合作这个项目。我们的工作就是把很多传感器(他们没明说,但是地球人都明白这东西应该是雷达)接收的数据,包括当前多少公里范围内的空气的风速、风向、地表的曲面率,还有其它一些指标在收集后(这些瞬间产生的三维数据的数据量非常大),分散到一大堆计算机上去执行(测试时准备了100个节点),并且要很快计算出结果(必须比空中运动的目标快)。这其实和现在的SPARK、STORM做的工作很象,要依赖大内存、高性能CPU、和高速网络,跳过硬盘这个瓶颈,才能得以实现快速计算。这个项目花了很长时间,主要是与合作方的沟通改进,然后是再沟通再改进,循环往复,周而复始。后来终于完成了,据说做了试验,可行性很高,上面领导很满意,还摆了庆功酒。反正我没见着也没喝着。其实他们怎么计算的,我到最后也没有搞明白,问过一次,说是秘密。

第三个和两桶油的页岩气有关。当前的背景是在四川涪陵(这个地方还产榨菜)发现了大面积的天然气,按照自然规律,油气是共生的,所以两桶油想通过采集页岩样本,分析这个地区地下有没有石油资源,如果有,是不是具有开采价值。这套程序原本已经是有的,艾克森.美孚石油公司开发的,跑在CARY-1向量机上。那套机器是上世纪七八十年代的超级计算机,在当时已经不能满足需要,属于进博物馆之列。有些数据分析理论已经过时,需要调整。两桶油最不满意的还是速度太慢,计算一次要几小时几天才能出结果。这一次又是合作,两桶油出熟悉采油的技术专家,我们出并行计算的码农,前前后后合作弄了大半年,算是完成了。这次我们用了新的并行算法,效率提高了一大截。和上次炮弹打导弹一样,整个项目静悄悄开始,静悄悄结束,后面怎么样就不知道了。

时间: 02-10

说说这些年做的云计算和大数据项目的相关文章

谈谈这些年做的云计算和大数据项目

入行十几年,做了不少分布计算.并行计算.海量数据处理的项目,按照现在的讲法,这些都属于云计算/大数据范畴.今天说说我做过的其中三个项目,只三个. 第一个是我们接到的视频分享网站的视频转码的订单,网站名字就不说了,有替人宣传嫌疑.他们情况是这样,视频网站的内容用MP4格式在网页上播放,但是上传的格式多种多样,我们必须把这些视频统一转换成MP4格式,视频转码的工作想必大家都在自己的电脑上试过,通常一个100M左右的视频转码需要20分钟以上(CPU是Pentium IV).为了提高转码效率,让用户以接

战略布局:云计算、大数据和人工智能三位一体

百度云计算战略发布会上,百度董事长兼首席执行官李彦宏.百度首席科学家吴恩达等百度管理层介绍了融入大数据.人工智能技术的百度开放云服务体系,包括这些技术如何与行业应用相结合,并展示了百度开放云的生态建设.从百度的战略布局,不难看出,未来云计算.大数据.人工智能是趋势方向. 李彦宏:云计算.大数据和人工智能三位一体 李彦宏表示,搜索是一个非常典型的云计算应用,百度很早就积累了很多云计算核心技术,例如在三年前就大规模使用GPU代替CPU来支持云计算,并且现在还运行了一个大规模的FPGA集群. 现在,云

区块链、云计算、大数据、人工智能、FinTech带来的挑战与机遇,中国技术开放日上海站精彩回顾

区块链.云计算.大数据.人工智能.FinTech带来的挑战与机遇,中国技术开放日上海站精彩回顾 | 作者 韩婷 发布于 2016年12月26日. 估计阅读时间: 不到一分钟 | 欲知区块链.VR.TensorFlow等潮流技术和框架,请锁定QCon北京站!讨论 分享到:微博微信FacebookTwitter有道云笔记邮件分享 稍后阅读 我的阅读清单 FinTech带来的挑战与机遇 万达网络科技集团首席数据师兼首席架构师蔡栋以"FinTech带来的挑战与机遇"分享了他对FinTech的一

2016年中国(山西省)高校云计算与大数据学科建设研讨会在太原顺利召开

日前,2016年中国(山西省)高校云计算与大数据学科建设研讨会在山西黄河京都大酒店3楼5号会议室成功举办.此次研讨会由云计算与大数据专业建设协作组主办.主要参会人员来自山西省10余所院校相关院校的院长及专业及负责人和一线教师. 本研讨会将针对"高校教育的云计算与大数据学科建设"进行专门的研讨与交流.云计算和大数据是推动信息技术能力实现按需供给.促进信息技术和数据资源充分利用的全新业态,是信息化发展的重大变革和必然趋势.值此经济转型和产业升级的关键时期,为加强高校云计算与大数据学科建设,

云计算与大数据不同之处

调查显示,到2020年,全球数据使用量预计将暴增44倍,达到35.2ZB.大数据颠覆了传统的IT世界,挑战着企业的存储架构.数据中心的基础设施,数据仓库.数据挖掘.商业智能.云计算等各个应用环节.工业革命以后,书籍等以文字为载体的知识大约每十年可以翻一番;1970年以后,知识大约每三年就可以翻一番;如今,全球信息总量每两年就可以翻一番;2010年互联网的数据量,比之前所有年份的总和还要多.从技术角度讲,半个世纪的信息技术主要解决的是“结构性”数据的存储.处理与应用,这就好比你到银行去存取款,银行

王坚:云计算和大数据,你们都理解错了

潘越飞 2013-05-14 04:58 王坚,阿里巴巴最富争议性的人物之一,爱者极爱,恨者极恨. 5月12日,我和MTC的朋友,在杭州发起并主持了一场关于云计算的沙龙,虾米的思践聊了云音乐,快的打车陈伟星聊了云时代的产品设计,短趣网王强宇聊了云时代的创业,当然少不了王坚聊一聊他对云计算的看法. 当天,青龙老贼发了一段王坚的部分观点,遭遇了他开通微信公众号以来最强烈的退粉,也激起了圈内人的各种讨论,这就是王坚的"影响力". 我把王坚的分享做了个第一人称详细版的梳理,里面涉及了阿里云的定

云计算、大数据和人工智能简单概述

今天跟大家讲讲云计算.大数据和人工智能.为什么讲这三个东西呢?因为这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据.谈人工智能的时候会提大数据.谈人工智能的时候会提云计算--感觉三者之间相辅相成又不可分割.但如果是非技术的人员,就可能比较难理解这三者之间的相互关系,所以有必要解释一下. 一.云计算最初的目标 我们首先来说云计算.云计算最初的目标是对资源的管理,管理的主要是计算资源.网络资源.存储资源三个方面. 管数据中心就像配电脑 什么叫计算.网络.存储资源? 比

云计算与大数据要学啥?云计算与大数据的关系

在谈到创造式前沿科技的时刻,咱们会发现一个现象,"云计算.大数据.人力智能"这三个概念常是"绑缚式"呈现,它们之间似乎有甚么紧密的关联,在谈到云计算的时刻会提到大数据:谈到人力智能的时刻也会提到大数据:谈到人力智能的时刻也会提到云计算.那么,这三个概念之间究竟有甚么联系呢? 首先来讲云计算,云计算最初的方针是对资本的经管,在不断进级迭代和应用拓展的过程当中,云计算的内在变得愈来愈丰硕. 按照云计算的部署结构又可将其分为:公有云.私有云.混合云等三种结构.比如要充分发

云计算是什么?云计算与大数据要学啥?

云计算是什么?云计算与大数据要学啥?云计算的虚拟空间无限大,物联网和互联网产生的大量数据,要找一个地方集中存储和处理,就要用云来存储.比如我们平时手机或电脑存储空间不够的情况下,会把一些图片及视频存在云盘,云端. 云计算,简单说就是把你自己电脑里的或者公司服务器上的硬盘.CPU都放到网上,统一动态调用,现在最有名的云计算服务商是亚马逊的AWS.以前你要玩最新的大型3D游戏或者做了个大型3D动画需要渲染,首先想到的都是重新买一台更高配置电脑或者换个显卡等: 有了云计算之后,你只需要一台显示器,连到