深圳市博安达信息技术股份有限公司首席产品官史博:构建大数据平台强调统一,标准、服务都要统一

2018年08月01日作者:来源:中国环境报

20180729120021757246.jpg 

  很荣幸今天在这里为各位专家和领导汇报我的《以数据资产管控思维,打造新型生态环境大数据平台》解决方案。我汇报包括四个部分,机遇挑战,解决方案,实施路径和预期成效。

  一、机遇挑战

  生态环境信息化已经建设多年,但是依然面临很多困境。第一是信息孤岛。虽然建了这么多年,信息孤岛现象已经存在,数据孤岛存在,系统孤岛也存在,尤其是当新的系统进行新构建时,带来孤岛越来越多,所以体现出来就是生态环境数据是散的。第二是技术架构陈旧,需求响应速度慢。我们作为软件开发公司在这方面感受非常深刻,当我们新建一套新系统时,要与很多系统进行数据对接,比如我们这个系统开发可能需要三个月实施周期,我们协调系统可能就要花两个月时间,所以导致我们一旦有新诉求时,整个系统开发周期非常缓慢,领导总是觉得开发软件是一件容易的事情,确实是不难,但是我们很多精力花费在非开发工作上面,所以需求响应速度是比较慢的。第三是问题复杂,决策辅助能力弱。前面各位专家、各位领导都讲到,现在环保的问题和多年前相比面临问题更复杂,我们现在面临改善环境质量,改善环境质量是一个目标,为了达到这个目标有很多种具体手段,面对这么复杂的问题,现在我们数据是比较散乱的,系统还是以业务化形态去运行的,所以我们决策辅助能力整个是比较偏弱的。

  但是其实我们有一个比较好的状态,比如像黄博士刚才讲到,我们在这个行业中数据从以前数据大、大数据思维已经开始深入人心,另外一方面是数据驱动管理的思考要求变得越来越明确。对于大数据技术架构来说,我们可以去讲一讲它的源头,最早从互联网这个行业来的,阿里、腾讯开始在做大数据,它是源于更多的电商、社交网络数据量实在太大了所以打造新的技术架构体系。从互联网这个行业开始来了以后,引入到保险、金融,再逐渐往政府序列,比如像公安、税务等方向引入,我觉得现在已经合适进入到环保体系里面来构建这套大数据体系。

  对于一个大数据我们怎样去理解?大数据不单是做一个数据中心,大数据实际上是一套新型技术架构解决方案,对应我们前面困境它就带来一套的解决思路:第一是数据标准统一,海量数据整合。除了传统建数据中心时大家说要把接口做得标准化和统一之外,更多的还有对于数据的管理,数据管理流程是要统一的,谁来开发接入是统一的,我们应该是宏观方向理解数据统一,用这种方式对数据资产进行集中管控。第二是搭建大数据架构,共性技术下沉。我们刚才说,大数据解决方案不是一个数据中心,其实是一套技术架构,在这套技术架构中有一个特别的技术思维就是共性技术下沉,就是黄博士讲到的我们行业叫技术集中,我们以前构建系统时总是割裂是因为技术没有搭建出一套统一平台提供支撑,所以有一家新公司上来后就建立一套单个系统,系统越来越多,孤岛就越来越多。要解决这样的问题,一定要从顶层IT技术架构上思考构建大数据架构,把共性技术下沉,用这种方式为数据进行资产增值。第三是大数据赋能,研判与管理迭代。我们大数据能力构建起来之后,通过一种开放手段,把大数据的服务能力开放给决策平台,开放给所有运行的业务系统,这样才能以数据驱动管理工作高效运行。

  二、解决方案

  我们说数据驱动管理,那我们回头看一看到底数据流程是怎样的。实际上包括四个环节:第一是数据生产,数据生产体现在业务上面,就是各套业务系统运行。第二是数据治理,数据生产出来后,我们把它集中在一起,对这些数据进行治理,能够把它集中存储起来。第三是要把数据综合利用起来进行综合分析、数据赋能,能体现出数据价值。第四是数据服务,把数据再反馈给管理和业务体系中发挥价值。

  落到信息化体系中,在数据生产环节是生产库,做大数据技术架构首先构建资产管控平台,负责把数据整合在一起。第二个就是大数据分析平台,能够把数据进行深度分析,后面用我们能力开放和应用开放把数据利用起来。

  落到技术架构上面,分几个平台,大数据治理平台、大数据分析平台、业务协同平台,再往上是能力开放平台、应用开放平台。我们常用的业务系统构建在应用开放平台之上。大数据治理平台负责整合集中数据,实现数据共享,大数据分析平台负责统一管理数据、存储数据、构建数据仓库、构建数据分析模型。业务协同平台就是刚才讲的技术下沉平台,所有技术和数据构建起来后,我们还要把它用起来,所以有一套特别重要的平台是能力开放平台,负责技术能力和数据能力开放,所有业务系统构建在应用开放平台之上。所有进来的业务系统或管理系统应用的是大数据这套平台提供的数据能力和技术能力,这样也就能够真正的从技术架构上面横向打通所有的信息孤岛和技术孤岛,所以我们这次提出来的理念就是大平台轻应用的顶层技术架构。从能力开放平台往下很多可能是我们管理者、业务人员看不到的,但是这套平台有点像数据处理的大脑、超级计算机,它负责处理数据,它负责统筹技术,我们真正的工作人员去使用时就是上层的应用,就好比类似于现在大家都用支付宝,支付宝经常发布信息证监会、银联有一套新的要求,要求进到中国人民银行,但是对于我们使用者来说我们是体会不到的,我们用支付宝就是扫码、输入密码支付,但是整个流程是非常复杂的,在下面大平层谁也看不到的内容这块去处理了。所以,唯有大平台构建好了之后,我们应用才能敏捷便捷起来,这是新的顶层IT规划。

  第二个是数据流程怎么设计。我们传统讲数据就是从源到ODS到数仓,然后到功能和技术服务。但是实际上真正我们数据流程,因为要反馈于业务,要能让业务与管理迭代。所以,我们首先流程在改造应该有一个闭环反馈机制,数据能够一直持续巡回的运转,才能够形成我们这套大数据的数据架构。

  第三个就是当我们技术平台在底层全部构建好后,上层业务构建起来就比较一了,所以这时候我们提出来上层的业务构建就叫做横向的敏捷扩展。我们做软件开发这方面感受很大,新的需求实时有,但是怎样去响应,现在这套系统非常慢。但是如果有这样一套系统,响应就会快,因为数据有了,技术有了,基于技术和数据构建像小程序开发一样非常快,我们开发一个APP可能要个月时间,但是开发一个小程序可能就一个时间。这就是技术变革带来管理和应用上不同感受。

  三、实施路径

  第一步是打好基础设施服务。我们构建这套大数据平台所需要的硬件资源还是比较复杂的,当然,现在环保行业云平台的构建很多地方已经有了基础。

  第二步需要构建大数据数据支撑体系,这个大数据数据支撑并不是数据支撑,而是技术架构支撑,就是技术协同集中,在信息化建设中是特别重要内容,唯有把技术协同平台构建好才能搭建好技术开发。

  第三步是大数据资源整合,传统数据中心建设上面也经常提的,要把各种各样数据集成起来放在数据库做数据质量、数据清洗,数据清洗完之后才能使用,在我们这里面资源整合除了内部整合之外,外部的整合也是非常重要的,我们现在参与到很多项目感觉到政务上有一个特别好的方向是,构建全省全市政务大数据平台,为我们环保领域大数据平台提供特别好基础,它能够给我们开放其他委办局相应的数据,能够把其他委办局数据纳入到我们管理体系中来。

  第四步就是挖掘数据应用价值。技术架构来说就是构建大数据分析平台,我们看了很多其他行业,比如工业物联网、公安的大数据分析平台是引入了很多模型,而且这个平台应该叫做开放平台。有一家公司进来,可以基于能力和数据构建出一套新的平台、新的模型,再进来一家公司,还可以再引用这套开放平台能够构建一套再新的模式,能够为上层提供服务。所以,我们这是一种平台式的构建,在平台上面就可以有很多业务人员,有很多领导,有很多公司集中自己能力把这套平台应用起来,能够真正深入发挥应用价值。

  第五步就是分析结果可视化跟踪,这是大家非常关心的,业务如何用,数据如何展示,决策如何做分析,如果底层构建好,数据分析好,结果能输出,对于上层来说就是大屏、APP、小程序各种各样展示手段,能够把所有分析结果从宏观到微观逐步挖掘展示。

  四、建设成效

  其实这里面有很多技术问题没有深入阐述,总结起来:第一是统一接入标准,数据一定要把接入统一起来,而且接入标准不但是数据进到平台里面来,还有如何构建一套新的系统的标准。第二是统一数据资源。第三是统一信息化服务,基于统一的能力开放平台,为我们行业、用户引入很多软件开发商提供推一信息化服务。第四是统一运营管理,大数据平台构建完之后,业务系统有几十套上百套,应该有一个统一运维技术手段,不能靠人去管理这些系统,有大数据技术解决方案中有运维管理能力看到哪个系统是慢的,能够输出统一的性能运维服务报告,给信息化厂商提供解决建议和方案,这样在平台能统一接入标准、统一数据资源、统一信息化服务、统一运维管理。


编辑:宋阳