关于企业大数据,你不得不晓得的几件事

两年的时间,大数据像雨后的野草一样,顽强的长满了草原。不管是互联网的、金融的、医疗的、汽车的,好像不提大数据,就像是落伍了一样的。

近期笔者所在团队给某部位的研究院做了大数据的一个可行***规划,有些事,正好与各位做一个分享。

大数据,顾名思义,数据量特别大,按照定义来说,就是数据量特别大,无法用传统的手段解决。所谓传统的手段,也就是业界内注明的IOE,即,高性能服务器+专用存储设备+数据库设备。其实,大数据这个词虽然是近些年才火起来,但是大数据一直存在,不过是由于互联网、移动互联网的飞速发展,导致近些年的增长速度越来越快。同时互联网的迅速发展,也使得国外的Google、FaceBook,国内的BAT对数据进行深层次价值挖掘,进一步促进其发展。

大数据在互联网内的发展迅猛,使得各个国家纷纷出手,美国发布政府公共大数据计划之后,欧盟、中国等也均投入这一战斗当中。在我国,政府的大数据公开计划刚开始,各部委下属的研究院所,各大央企也都开始发声自己已经、正在、马上开展大数据项目。可是,对于大数据项目,政府、企事业单位的信息化人员们,你们做好准备了吗?下面从几个角度给大家提一些建议。

  1. 数据源是一切的基础

其实,不管大数据、小数据,效果在于价值,起点在于数据,如果没有合适的数据来源,或者数据来源还使用的传统的纸质文档管理,那么,大数据对你是没有价值的,你需要做的第一步是如何用信息化手段,量化企业的数据。数据的信息化,是一切的基础。没有一个坚实的数据源,一切都是妄谈。

2.业务的目标是数据价值的方向

这点在很多的文章里都提过,不过很多都是希望你根据业务目标,分解业务场景,然后再进行数据建模等等。这里想说的,业务的目标很重要,但是你不能指望企业领导或者业务人员,既告诉你想吃烤鸡翅膀,又得告诉你烤鸡翅膀怎么做。很多时候,引你进门之后,剩下的是数据分析人员需要做的事情,包括业务目标的分解,包括数据源的选择,包括数据采集方式的确定,包括数据模型的建立。用户需要做的事情是,确认你做的结果和他的要求差距有多大。

3.技术方案的选择同样很重要

对于用户来说,技术方案就像无字天书,看着都很高大上,但是作为一个技术人员或者数据分析供应商,你需要考虑的问题不知高大上,还有落地。中国目前国企范围内的大数据项目成功的几率低的让人可怜。究其原因,技术方案的不可落地,在做技术方案的时候,你是否科学的估算了数据量?在计算量不可估算的情况你会如何处理?你是否选择虚拟化作为集群服务器的管理层?实体物理服务器如何管理?计算内容是批处理多一些还是流计算多一些?业务可能会需要哪些算法作为支撑?笔者前期做大数据项目时,遇到的一个难题是,选择虚拟化架构的集群还是选择物理服务器的集群?二者到底有多大的区别。

4.数据的运营是在项目之初应该预见的

很多时候,做一个大数据项目,不只是要一个分析结果,更多的是要做一个数据运营,因为用户的数据更多的是未来的数据,如何让你的大数据项目能够适应用户未来的发展,是在大数据项目之初就应该预见的,也是在规划过程中需要给用户做出足够的设计的。如果不考虑数据未来如何来,如何采集,如何用,如何发挥价值,分析后的结果如何支撑用户的大数据项目,用户的大数据也只能局限在一年、两年......真正的大数据虽然不能像永动机,但是好歹也应该是风车,只要有风,就能转下去。

时间: 06-14

关于企业大数据,你不得不晓得的几件事的相关文章

【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路

摘要: 在阿里巴巴在线在线技术峰会上的第三天,来自阿里云高级技术专家李金波为大家题为<企业大数据平台仓库架构建设思路>.本次分享中,李金波主要从总体思路.模型设计.数加架构.数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库. 本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的<企业大数据平台仓库架构建设思路>的分享整理而成.随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化.半结构化.非结构化数据的产生,越来越多的企业开始在大数据平台下进

构建企业大数据生态的关键在于 , 打通内部数据!

一个企业要想保持长远的发展,在市场中成为一个强有力的生命个体,必然要注重企业组织之间的协调.合作关系,与环境协同进化,也就是所谓的企业生态系统.而企业信息化或数据化作为管理的重要支撑,是这生态系统中的关键一环. <2015中国大数据应用前沿调研报告>指出,在对于"贵公司认为打造生态系统的重要性在何处"调查时,接近一半的受访企业选择了"打通企业内部部门数据,更好的服务业务增长".对于"贵公司为全面实现大数据战略首要的关注点",排名第二的

消费大数据公司“重分析-强应用”引领企业大数据营销

近日,消费大数据公司信柏科技树立"大数据-重分析-强应用"理念发布新一代大数据业务平台,以大数据为基础.软硬件结合的方案来辅助企业进行经营决策与精准营销.该大数据业务平台定位于"人群 ."内容"."行业 "与"地域"精准分析与挖掘,覆盖到企业营销中较为关注的用户特征画像.精准人群标定.定向数据采集内容监听 .采集内容的关联分析.行业报告与市场动态.竞品分析.新店开张选址报告.指定地区常驻人群特征分析等业务,致力于成为

大数据时代—— 一个创造超级竞争力企业的时代

这是一个快速发展的时代,随着互联网的普及,数据成指数倍增长,相同类型的企业也如雨后春笋般越来越多!那么如何在这个快速发展的时代,脱颖而出,把握时代的脉搏呢?答案就是:建立自己企业的大数据!提高企业的生存和竞争力,大数据无疑是一把利剑,通过数据分析,不仅可以让你知己知彼,更可以让自己的企业决胜千里之外,使企业在与同行竞争中,更具竞争力的一大利器,用的好,甚至能碾压竞争对手.大数据近年的崛起和发展已经初现其巨大的作用,据分析拥有优秀大数据能力的企业,做出正确决策的可能性高出竞争对手3倍.决策速度比竞

2017最新大数据零基础视频教程下载

2017零基础大数据就业课程(全网最全,856课时) 课程观看地址:http://www.xuetuwuyou.com/course/181 课程出自学途无忧网:http://www.xuetuwuyou.com 本套课程是风舞烟老师团队历时四个月打造的全网最全的一套大数据就业课程.可以说是完全0编程基础起步,一部到就业!课程分2大模块,14个课程,65章,共计856课时! 课程大纲: 一.Java模块课程 课程一.[大数据必知必会]- Java负基础扫盲篇 01.Java基础语法.变量.数据类

当不再炒作大数据的时候,大数据时代就真的来了

从2015年开始,大数据就已经被移出了Gartner的新兴技术炒作曲线."Big Data"(大数据)一词最早于2011年8月出现在Gartner新兴技术炒作曲线中,当时Gartner预计大数据技术需要2年到5年才能进入企业的实际生产型应用中.从那以后,大数据就迅速被市场热炒,最终在2015年彻底在Gartner新兴技术炒作曲线中消失. 进入2016年,大数据已经进入了实际的企业生产应用,在切实推动企业向数字化转型.另一家市场调查公司IDC则强调,在未来5年中,全球的数据驱动型企业将获

大数据为我们带来了什么?

洞悉行业动态,把握行业趋势,从数据中挖掘洞察,将洞察转变为价值,同时带您了解更多大数据在零售.交通.制造.银行等行业中的应用.     最早提出大数据时代到来的是麦肯锡:"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来." 从大数据的价值链条来分析,存在三种模式: 1- 手握大数据,但是没有利用好:比较典型的是金融机构,电信行业,政府机构等. 2- 没有数据,但是知道如何帮助有数据的人利用它:

大数据、云计算系统架构师顶级培训课程下载

北风网课程,超1000+课时,绝对是您零基础学习大数据的最佳选择. 本套课程分为两大部分:一.必修课,二.选修课. 必修课包括: 1.Linux基础知识,MapReduce,YARN,HDFS,Hive,Sqoop,Flume,Oozie,Hue,HBase等Hadoop框架. 2.Storm入门到精通,内存计算框架Spark,Spark入门到精通,企业大数据平台 3.大数据实战项目:基于Hadoop技术实现的离线电商分析平台(驴妈妈旅游网),Storm流计算之项目篇,Spark大型项目实战:电

Spark大型项目实战:电商用户行为分析大数据平台

本项目主要讲解了一套应用于互联网电商企业中,使用Java.Spark等技术开发的大数据统计分析平台,对电商网站的各种用户行为(访问行为.页面跳转行为.购物行为.广告点击行为等)进行复杂的分析.用统计分析出来的数据,辅助公司中的PM(产品经理).数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务.最终达到用大数据技术来帮助提升公司的业绩.营业额以及市场占有率的目标. 1.课程研发环境 开发工具: Eclipse Linux:CentOS 6