大数据解决方案
作者:中长康达 发布时间: 2019-06-04近年来,我国信息化持续快速发展,为推进电子政务建设发展,实现分布在各政府部门信息资源的有效采集、交换、共享和应用,利用这些有价值的数据通过大数据技术整合分析,产生对领导决策、经济和社会发展、政策制度制定、职能部门服务和管理等方面起到支撑、预测和指导作用。因此需建立一个政务数据的共享信息库大数据应用分析系统。
系统组成
共享信息库大数据应用分析系统的组成,按功能块划分可以分为以下几个部分:
数据接入功能组块:负责将外部数据导入本系统中。
大数据处理功能组块:负责将入库后的数据进行(预)处理,完成数据清洗、挖掘、命名实体识别、关联分析等工作,为生成标准化数据、索引和二次入库做准备。
数据结构化和二次入库功能组块:负责将前期处理后的数据按照需求进行结构化处理,并将处理后的结果接入指定数据库中。
索引生成功能组块:负责将需要做为索引存在的数据建立成索引文件。
应用功能组块:负责实现可视化、用户端检索、监控、日常管理等功能。
系统部署
整体上,此架构采用了主流大数据技术,涵盖了主体业务需求,具有流程清晰、结构紧凑、便于拓展等特点。平台为了支撑多项电子政务应用的基础设施,具有较高的可靠性,能整合多个模块和多个节点的基础上,避 免了单点故障。平台由多台服务器共同支撑,同时用于复合的业务流程中,保障了对单点故障的管理,实现故障切换,同时采用双机热备、群配置、磁盘镜像等方式,以确保应用系统的高可靠性运行。
系统特点
★ 多种数据源的采集方式,为数据分析提供全方面的数据源。
★ 在系统开发层面,可根据不同数据来源的特点,进行插件开发以满足系统对数据来源的可定制性。
★ 高性能分析能力,实现可拓展的分析专题。