缔元信：大数据的10个有力事实
10.07.2014 18:53
本文来源: 合肥服务外包
不再仅仅是一个流行词 大数据，无论你如何定义它，都已经被大肆盛赞过，也被恶意中伤过。它对很多人来说意味着许多东西：对科学家和零售店主来说是一种福利，同时也是应对大量隐私和安全威胁时的一种可用技术。 无论是救世主还是骗局–甚至可能是两者的结合-，大数据仍在权威人士、预言家、营销者和安全爱好者中间成为一个流行话题。它的非官方定义也在逐渐演变。那么，它到底是什么呢？Wikipedia(维基百科)的定义开了个好头：“任何数据的收集，数据的数量如此庞大、形式如此复杂，以至于很难采用手上的数据管理工具或传统的数据处理软件进行处理”。 但是，当数据分享设备呈几何级数增长的时候，管理大批量、各式各样、高速(经典的3V定义)涌来的数据集所面临的挑战内容正在改变。这些设备，我们统称为物联网(IoT)，包括机器传感器和面向消费者的设备(例如相互连接的恒温器)、电灯泡、冰箱和可穿戴的健康监测仪。IDC预测IoT(物联网)市场将在未来数年爆发式增长，从2013年底的91亿部安装设备增长到2020年的281亿部。 对大数据的有用洞察可以帮助企业获得很多潜在的好处，不仅是可以销售更多地产品和服务，还能更好地管理健康、阻止假药泛滥、追踪恐怖分子，甚至可能跟踪你的通话记录。因此我们知道，大数据并没有天生的好坏之分，重要的是你怎么用它。 具有讽刺意味的是，无论大数据在增进人类经验方面的潜力有多大，它通常还是很难收集、筛选、分析和解释来获得那些珍贵的思考和见解。这个幻灯片审视了大数据面临的挑战及其应对能力。确凿的事实会让你感到吃惊。我们该有什么样的期待？好吧，看起来Hadoop这个领先的大数据平台的未来一片光明。数据科学家和相关的大数据专家们应该在来年获得收入丰厚的工作。 业内人士已经预计热门词“大数据”将逐渐淡出。Hortonworks总裁Herb Cunitz在2012年12月的一篇博文中写道：“终究全都归于数据。大数据和对这个空间的所有预测都将瓦解，被分析师和所有那些紧随其后的人(包括很多“大”供应商)导向“数据管理””。 Cunitz可能过早地预见了“大数据”的终结，但他准确地指出：终究全都归于数据。只有用于管理的工具将要改变。现在，请深入研究我们的幻灯片，并观看一些展示的统计分析和研究报告。 有多少数据被忽视？ 根据Forrester公司最近的一项研究，大多数公司都预计它们分析了大约12%的现有数据。这是好还是坏？好吧，这些公司可能会错过隐藏在它们忽视的88%数据里的洞察和思考。或许它们明智地避开了资源耗竭、试图将海水煮沸的战略。Forrester认为，分析工具的缺乏和“强制性”的数据孤岛是公司忽视自己绝大部分数据的两个原因，原因还包括一个简单的事实：对公司来说，常常很难判断哪些信息有价值，哪些信息最好是置之不理。 大数据暴增 疯狂的大数据对拥有一定技能的技术工人来说是个利好消息。按照Dice的说法，在一个技术和工程师专业人才网站上，对数据专家的需求呈猛增的态势。该网站4月份的报告中提到，NoSQL专家的职位发布数量比上年增长了54%，“大数据人才”的职位则增长了46%。类似的Hadoop和Python人才职位则分别增长了43%和16%。当然，这跟数据安全专家的职位发布比起来是小巫见大巫了，根据一项令人印象深刻的统计，后者在过去的一年里飙升了162%。 数字世界的体量将在仅6年内从今天的3.2ZB增长到40ZB(1ZB大致相当于10亿TB)。Hortonworks公司CEORob Bearden 在加州圣何塞2014Hadoop峰会的主题演讲中说到：“我们十分兴奋地看到身边的数据数量在爆发，企业数据的数量从现在到2020年将增长50倍。最重要的是，这些数据的85%来自全新的数据来源”。Bearden指出，这些来源包括移动设备、社交媒体和联网机器生成的数据，对全球的企业来说，既是挑战也是机遇。 大数据=大笔钱 大数据工作的收入水平一般都很不错。根据Burtch工作室2014年4月的一项研究-《数据科学家的薪水》，2014年数据科学家员工的平均基本年薪是12万美元，经理级别的年薪则达到16万美元。该预测建立在对Burtch工作室雇员信息数据库中170多个数据科学家进行的采访基础上。这个优厚的薪资标准也几乎同样适用于更大范围的大数据专业人士，也就是那些"展现精确的量化分析能力，用数据表达的方式来处理事务和描述互动行为，或者实施其它个人行为来获得洞察力并指导行动"。在这个范围内，2013年员工的基础年薪中位数是9万美元，经理级别年薪则达到诱人的14.5万美元。 大数据专家们，为物联网做好准备了吗？ 大多数IT专家都表示她(他)们还没有为物联网开始准备-即便实际上已经做好准备。Spiceworks在2014年4月份询访了440名IT专家，问她(他)们对物联网的看法以及如何准备应对。62%的受访者来自北美，38%来自EMEA(Europe-欧洲，theMiddleEast-中东地区和Africa-非洲)。超过半数(59%)的受访者表示，她(他)们还没有采取明确的步骤来应对预计会从传感器、摄像机和其它大量物联网设备汹涌而来的数据。但是，该调查还发现，很多IT专家事实上已经通过在基础设施、安全、应用、分析领域的投资以及扩展带宽来为物联网做了准备。 数据科学家：一个仍然性感的职业 在哈佛商业评论2012年10月份一篇文章吸引眼球的标题中，把数据科学专家称为"21世纪最性感的职业"。这个结论值得争论一番，但如果把"性感"表述为"受欢迎"，那么数据科学家就没有失去任何光环。根据一家全球IT人才服务提供商Modis的研究，数据科学家职位保持着"高需求而低供给"的状态，这直接可以转化为慷慨提供给某些拥有相关大数据经验的PhD(博士)的6位数薪水。 数据仓库的担忧：Hadoop就在身边 数据仓库产业需要对Hadoop的崛起担忧，还是热情拥抱它？这个问题在2014Hadoop峰会的一个问答环节上，摆在了两位Hadoop工程师(Cloudera公司的DougCutting和Hortonworks公司的ArunMurthy)的面前。许多企业将工作重心从数据仓库向Hadoop转移，但这并没有成为普遍现象。不过，将来会吗？Cutting说到："如果有很多人不再提高其数据仓库的容量，而是给容量设限或者甚至暗地里削减这方面投资，只是因为她(他)们发现在一个基于Hadoop的系统中可以同样有效、更节省成本的完成更多处理任务，那么，我认为这是个很大的威胁"。 对隐私的担忧，不会停止大数据发展的脚步 不和谐音来自看起来似乎无穷无尽的隐私和安全漏洞，但它不大可能阻碍大数据的进步。《经济学人》杂志在2014年6月期的报告中称："很少有证据表明，对隐私的考虑正在引起数据使用和存储方式的实质性变化"。Gartner公司分析师CarstenCasper告诉杂志，IT世界并没有在酝酿"大隐私革命"。Casper接着说，当公司提出更多隐私相关的问题时，十有八九都与数据中心的坐落位置有关。 大数据带动了软件产业的发展 研究公司IDC预测，2013-2018年全球软件市场的复合年增长率(CAGR)将在6%左右徘徊。IDC接着指出，但是大数据相关的软件类别，包括协同应用和数据接入、分析和传输解决方案，以及结构化数据管理软件将在这个5年时间里表现出更高的复合年增长率(大约9%)。 在社交媒体方面持续升温的兴趣将有助于驱动这种高增长。IDC分析师HenryMorris在一份评述中说到："这是对大数据和分析解决方案持续提高的关注度的重要补充，它帮助企业理解预期的客户行为以及对产品可靠性和可持续性的新思考，并付诸实施"。 几乎任何东西都可以互相连接 物联网将包括很多千奇百怪的设备，其中不少对大数据世界来说是全新的事物。这解释了为什么ABI研究公司的分析师预计到2020年，将有超过300亿部设备通过无线相互连接。当然，与健康相关的数据收集将在物联网中扮演重要角色。 这里有一个独特的案例：BBC报道，微软公司与来自纽约罗切斯特大学和英国南安普顿大学的研究员合作，设计出一款带传感器的胸罩，可以通过监测心脏和皮肤活动来观察穿戴者的受压水平。这款产品的设计，是为了验证可穿戴技术是否可以帮助人们控制造成穿戴压力的过量饮食，胸罩收集并发送数据到一个智能手机应用上，并以此帮助使用者控制饮食习惯。
本文来源: 合肥服务外包
10.07.2014 18:53