智慧城市大数据时代,未来已来——数据“大爆炸”

发布时间:2020-12-29 阅读量:993 来源:智慧城市大数据

近几年来,以大数据,物联网,人工智能,5 G为核心的数字化浪潮正在席卷全球,汽车网络,工业物联网,人工智能生物识别等带来的海量异构数据,以及高带宽、低时延等新业务个性化需求,在这个智慧城市大数据时代,都使得传统的通用服务器和存储架构难以满足。

智慧城市大数据时代,未来已来——数据“大爆炸”

智慧城市大数据时代,未来已来——数据“大爆炸”

先来看看大家为什么在前几年开始谈论大数据?它是一个基本的问题,包含了对当前数据现实的基本理解。不容忽视的事实是,随着网络和信息技术的不断普及,人类产生的数据量正以指数方式增长。约每两年增加一倍,这意味着在过去两年中,人类产生的数据量相当于之前的全部数据量。

智慧城市大数据使得“数据爆炸”

对这样庞大的数据(而且单纯的增量数据也是庞大的)来说,存储、分析、传输、使用到交易等环节都会带来一系列的相关问题,而在当前这个时刻,我们必须明确地面对,而不只是找个地方先把数据存起来。

NICC专家委员会主任宁家骏表示:智慧城市大数据是指在某一时刻无法用传统数据库软件工具抓取、管理和处理其内容的数据集。大数据不仅巨大,而且复杂而重要。

上述就是宁家骏从技术分析的角度对数据和大数据进行区分,传统软件处理的主要是结构化数据,而大数据的处理数量相对较少。这就是我们在大到需要新的技术方案时对其进行重新认识的时刻。

作者认为,大数据具有两个主要特征,一是数据源多,包括各种结构化数据和非结构化数据,如网页日志、视频、图片、地理位置信息等,同时这些数据又相对庞大,大数据中的‘大’本身也是一个相对概念;二是数据处于“on line”状态,可以随时进行提取和关联并进行分析。

一般而言,智能硬件和这一能力设备的增加,产生了更多实时数据,因此需要使用大数据技术来实现数据信息的价值挖掘。数据采集、数据访问、基础设施、数据处理、统计分析、数据挖掘、模型预测、结果呈现等八个方面的大数据技术。

而且这些都与云平台和云计算能力分不开,比如数据采集后的数据存储,现在许多非核心敏感数据都可以存储在云中,而数据挖掘同样需要通过云计算和机器学习来完成。那么云计算到底是什么?

云-低成本部署,随心所欲的计算大脑

所谓云计算,相当于教科书上所说的那样,“可以通过网络访问可扩展的、灵活的、可共享的实体或虚拟资源,并在需要时自助获取和管理这些资源的模式”。这些资源的例子包括服务器,操作系统,网络,软件,应用程序,存储设备等等。

如上述概念所示,云计算包含软件、硬件等资源,简言之,云计算有三层云平台,第一层是 Iaas (Infrastructure as a Service),即服务,以前这些资源是企业的固有资源,现在可以不再拥有,由平台服务商提供,从而降低了部署成本;

其次是 Paas (Platform asa service),即服务平台,开放的 API能够让合作各方提供行业和内容服务;

三是 SaaS (Software as service),即服务式软件。例如我们经常使用的移动电话 APP;

云的一个重要特征和优点是,它将 Iaas, Paas, Saas层(CPU,存储,网络,等等)的资源(CPU)放入一个资源池(云服务器),由云服务器进行集中管理。在云计算中,所有的服务在资源池中通过资源来提供。

我国进入了新一轮科技驱动时代

那么如何理解大数据和云计算呢?根据中国计算机学会大数据专家委员会副主任车品觉的观点:人工智能、深度学习,这些技术二十年前就已经出现,但二十年前还没有大数据,没有相关数据。因此,大数据的故事是从关联开始的。

怎样应用大数据呢?Peter表示:首先需要理解数据的生命周期。在前端进行的“布点”、“收集”、“存储”等操作,需要在后面的数据进行“识别”、“相关”、“分析”等操作。另外还有一种可以将整个过程打包,叫做“实时刷新”。数据的生命周期就是这样,它是一个闭环。无论您如何使用大型数据,都必须首先理解周期。

在一个小型论坛上,阿里巴巴集团首席技术官王坚分享道:“云计算是工业时代的电力,大数据是生产线,云存储是钢铁工业。也就是说,没有钢铁,没有电力,就不可能有大规模的工业化生产。如果云不能解决云存储的问题,那么大数据不会出来,也不会出来。”

在刚刚闭幕的工业大数据大会——钱塘峰会上,中国科学院院士、西安交通大学教授徐宗本指出,大数据是新一代信息技术的基础,是继互联网之后,能够对全球社会、经济、产业产生重大影响的技术。

针对市场上对大数据的狂热情绪,许院士提出两点基本看法:

首先,我不认为大数据对近一两年 GDP的贡献会这么大,但是可以肯定的是,对于未来3-5年的 GDP贡献会很大。换言之,只有沉着冷静,愿意扎扎实实做好基础工作的政府和企业,才能从大数据技术中获益。

其次,大数据技术还不够成熟,它正由应用逐步走向成熟,面临的挑战更多。

因此,要从整体的角度来看待智慧城市大数据和云计算,而不能因其中一种而偏废其它,总的来说,云计算和大数据技术都是非常有效的工具手段,需要人们不断去挖掘。