欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:首页 > 热点专题 > 如今的大数据究竟发展到了什么阶段

如今的大数据究竟发展到了什么阶段

时间:2019-03-26 14:41:11作者:魔据大数据学院

大数据时代,大数据分析与应用大肆盛行。越来越多的大公司大企业大集团,都越来越重视大数据的影响和作用。可以说,谁想抢得大数据的一手可靠资料,谁就在未来的业务发展和拓宽中占据优势,谁就会在相关领域首先拔得头筹。但是,大数据发展前景现在到底如何,大数据的可靠性由谁说了算,大数据的真实性有谁可以保证?甚至还可以再倒退一点点来问问,如今的大数据究竟发展到了什么阶段?抛开不可避免的炒作周期曲线态势不管,我们的 “大数据版图” 已经进入第 4 个年头了,趁这个时候退一步来反思一下去年发生了什么,思考一下这个行业的未来会怎样是很有意义的,看看如今的大数据到底发展到了什么阶段。那么 2019年大数据到底还有多大的发展和进步空间呢?我们不妨探讨一下。

企业技术=艰苦工作

大数据现象在早期主要是受到了与一批骨干互联网公司(尤其是 Google、Facebook、Twitter 等)的共生关系的推动,这些公司既是核心大数据技术的重度用户,同时也是这些技术的创造者。这些公司突然间面对着规模前所未有的庞大数据时,由于本身缺乏传统的(昂贵的)基础设施,也没有办法招募到一些最好的工程师,所以只好自己动手来开发所需的技术。后来随着开源运动的迅速发展,一大批此类新技术开始共享到更广的范围。然后,一些互联网大公司的工程师离职去创办自己的大数据初创企业。其他的一些 “数字原生” 公司,包括崭露头角的独角兽公司,也开始面临着互联网大公司的类似需求,由于它们自身也没有传统的基础设施,所以自然就成为了那些大数据技术的早期采用者。而早期的成功又导致了更多的创业活动发生,并获得了更多的 VC 资助,从而带动了大数据的起势。

换句话说:有一堆艰苦的工作要做。

部署阶段

所以,这就是在经过几年引人瞩目的初创企业如雨后春笋冒头,VC 投资频等头条后,我们开始步入大数据的部署期和早期成熟期的原因。更有前瞻性的大公司(姑且称之为传统技术采用周期的 “早期采用者”)在 2011 到 2013年 间开始实验大数据技术,推出了若干的 Hadoop 试点计划(往往是因为赶时髦)或者尝试一些点方案。他们招募了各种各样此前并不存在的岗位(如 “数据科学家” 或 “首席数据官”)。他们进行了各种努力,包括吧全部数据都堆到一个数据容器(“data lake”),然后希望紧跟着就会发生奇迹(往往不会)。他们逐步建设自己的内部能力,试验了各种供应商,从试点计划到生产中的局部部署,然后到现在争论要不要全企业铺开(全范围铺开实施的情况还很罕见)。许多情况下,他们正处在这样一个重要的拐点上,即经过大数据基础设施的数年建设后,能够展示的成果还不多,至少在公司内部的商业用户看来是这样的。但是大量吃力不讨好的工作已经做完了,现在开始进入到有影响力的应用部署阶段了。只是从目前来看,这种建构在核心架构之上的应用数量还不成比例。

生态体系正在成熟

随着该领域的创业活动持续进行以及资金的不断流入,加上适度的少量退出,以及越来越活跃的技术巨头(尤其是 Amazon、Google、IBM),使得这个领域的公司日益增多,最后汇成了这幅 2018版的大数据版图。显然这张图已经很挤了,而且还有很多都没办法列进去(关于我们的方法论可以参见附注)在基本趋势方面,行动开始慢慢从左转到右(即创新、推出新产品和新公司),从基础设施层(开发者 / 工程师的世界)转移到分析层(数据科学家和分析师的世界)乃至应用层(商业用户和消费者的世界),“大数据原生应用” 已经在迅速冒头—这多少符合了我们原先的一些预期。

大数据分析:现在跟 AI 结合了

大数据分析过去几个月出现的一股趋势是,越来越关注利用人工智能(形式和风格各异)来帮助分析大规模的数据,从而获得预测性的洞察。其实最近出现复兴的 AI 很大程度上算是大数据的产物。深度学习(最近受到关注最多的 AI 领域)背后的算法基本上是几十年前就诞生了的,但直到最近能够以足够便宜、足够快速地应用到大规模数据之后才发挥出了它的最大潜能。AI 与大数据之间的关系如此紧密,以至于业界专家现在认为 AI 已经令人懊恼地 “与大数据陷入了热恋当中”。不过反过来,AI 现在也在帮助大数据实现后者的承诺。分析对 AI/ 机器学习越来越多的关注也符合大数据下一步演进的趋势:现在数据我都有了,但究竟从中能得到什么样的洞察呢?当然,这件事情可以让数据科学家来解决,从一开始他们的角色就是实现机器学习,否则的话就得想出模型来发现数据的意义。但是机器智能现在正在逐渐发挥辅助数据科学家的作用—只需要倒腾数据,新兴的产品就能从中提炼出数学公式(如 Context Relevant)或者自动建立和推荐最有可能返回最佳结果的数据科学模型(如 DataRobot)。一批新的 AI 公司提供的产品能够自动识别像图像这样的复杂实体(如 Clarifai、Dextro),或者提供强大的预测性分析(如 HyperScience)。

大数据应用:真正的加速

首先,这些应用很多都是 “大数据原生” 的,本身都是依托在最新的大数据技术基础上开发的,代表了一种客户无须部署底层大数据技术即可利用大数据的有趣方式—因为那些底层技术已经是打包的,至少对于特定功能来说是这样的。比方说,ActionIQ 就是在 Spark 基础上开发的(或者说是 Spark 的一个派生),所以它的客户能够在营销部门利用 Spark 的威力而不需要自己部署 Spark,这种情况下是没有 “装配线” 的。

其次,AI 在应用层也有很强大的存在。比方说,在猫捉老鼠的安全领域中,AI 被广泛用来对付黑客,实时识别和对抗网络攻击。去年已经出现了一个 AI 驱动的数字助手行业,支持从任务自动化到会议安排(如 x.ai)以及购物等几乎一切事情。这些解决方案对 AI 的依赖程度不一,从几乎 100%自动化到 “有人参与” 等情况各不相同,但是可以明确的是,人的能力在 AI 帮助下得到了增强。

结论

从很多方面来看,我们仍然处在大数据现象的早期发展阶段。尽管已经花费了数年时间,但减少基础设施来存储和处理大规模数据还只是第一阶段。AI/ 机器学习已经成为大数据应用层的一股迅猛趋势。大数据与 AI 的结合将会推动很多行业的惊人创新。从这个角度来说,大数据的机会也许要比大家想象的还要大。

然而,随着大数据继续走向成熟,这个术语本身可能会消失,或者变得太过时以至于没有人会再使用这个词。这就是成功赋能技术令人讽刺的命运归宿—由于技术的广泛传播,然后到达无所不在的地步,最后被人熟视无睹。


更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至kefu@sazgur.com,我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

在线咨询:张老师QQ 320169340

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234

17彩票平台 春秋彩票平台 广东快乐十分计划 大优彩票官网 广东快乐十分 广东快乐十分开奖结果 广东快乐十分 广东快乐十分 广东快乐十分 广东快乐十分开奖号码