实时数据库在超大集团中应用的技术要求和典型场景—以风力发电为例

一、技术要求

1.1 场景划分

在工业领域的超大集团正处于转型升级阶段，其智慧企业的建设是宏大而复杂的系统工程，在这类超级项目中，我们将按照“3+2”的总体布局阐述智慧企业在实时业务规划建设中所面临的关键问题及解决方案，本文以风力发电的典型应用为例说明。

“3”是指3类场景，分别是：现场级、区域级、集团级，在风电领域，对应着：风电场、区域集控中心、总部大数据中心。

“2”是指贯穿3类场景的2个角度，分别是：数据交换和安全防护。

                                                             集团项目“3+2”总体布局

数据由边缘端数据源流向总部大数据平台的过程之中会遇到采集接口不统一、传输网络不稳定、原始数据管理无统一标准、各个环节的安全防护等一系列难题，相应的这类项目也会对负责数据接入、数据交换、实时处理的软件提出较高的要求。

1.2系统要求

在集团级智慧企业项目的设计和实施过程中，对承载生产应用、实时业务的系统有如下要求，分为三类：

                               数据清洗/传输/接入/清洗/输出要求                                                                                 实时计算/告警/查询/统计要求                                                                           可靠性/可用性/安全性/可扩展性/开放性/其他要求

二、典型场景

2.1 现场级

在风力发电领域中，“现场级”对应着“风电场”。

2.1.1问题现状

目前风电场运行管理过程中存在着三大问题：

运营管理的问题：风机建设分散，不同风机的设备、环境、发电量也不同，公司管理人员需要随时掌握各风机的运行情况；

运行维护的问题：各个风机所处自然环境恶劣，各设备供应商也不同，如果不能及时发现故障并检修，就会影响发电量，从而造成经济损失；

专业技能的问题：风电场地处偏僻，缺乏专业工程师，长期驻守现场的工作人员仅具备最基本的计算机操作能力。

要解决这些问题，就需要用到风电场SCADA系统。

2.1.2风电场SCADA系统

SCADA的英文是Supervisory Control And Data Acquisition，监控与数据采集。SCADA系统是一类功能强大的计算机远程监控与数据采集系统，它综合利用了计算机技术、控制技术、通信与网络技术，完成了对测控点分散的各种过程或设备的实时数据采集，本地或远程的自动控制，以实现生产过程的全面实时监控，并为安全生产、调度、管理、优化和故障诊断提供必要和完整的数据及手段。

一般的SCADA系统由上位机和下位机及通信网络组成，随着企业业务规模的不断壮大及信息技术的发展，第四代SCADA也就是多体系交融的大型SCADA系统，在结构上更加开放、兼容性更好、安全性更高、速度更快、智能程度更高。尤其近年来智慧风场中的大型远程集中监控系统对规模、稳定性及开放性要求更高，现场级测点容量达到十几万点，用户的需求越来越多样化，用户对系统的数据分析能力、自动化处理能力等智能应用要求越来越多。

 下图分别是SCADA系统的网络架构图和系统方框图：

   

                                                      风电场SCADA系统网络架构图                                                                                          风电场SCADA系统方框图

其中，实时数据库管理系统（以下简称实时数据库）是SCADA系统的基础，将采集的各类数据标准化管理，存储全部生产运行数据，为上层数据监视、数据计算、统计分析等生产应用提供支撑。

2.1.3技术要求

（1）系统功能：包含全场监控、报警管理、报表管理、单机概况等。全场监控要求支持全场地理图、全场风机列表等；报警管理要求支持实时报警、历史报警、首出故障查询、事故追忆、故障统计等；报表管理要求支持自定义报表、日报、月报、年报等。

（2）数据采集：指从风机的PLC、升压站、测风塔进行数据采集，根据提供的点表遵照PLC自有协议、IEC电力规约，使用采集接口软件将数据采集、存储到实时数据库中。要求支持电力行业标准通信协议；支持跨网闸部署和运行；支持断点续传等。数据的标准性、实时性、连续性、全面性、同步性、准确性是数据采集质量的基本要求。

（3）数据存储：实时数据由采集接口软件写入实时数据库进行存储，在实时数据库内部进行数据清洗、计算、压缩、存储等。要求支持海量数据存储和管理；具备大规模数据并发处理能力；具备强大的补写历史功能；支持内置实时计算引擎；支持高效的数据查询；具备高可靠性冗余解决方案；具备高安全性等。

（4）编辑发布：要求组态软件提供功能强大的集成开发环境，具备丰富的元件仓库与高级控件，同时具备功能完备的趋势分析、报警报表、用户权限管理等功能，实施人员可以通过简单配置就可以针对不同风电场、不同设备实现自定义编辑，发布后的系统可以跨平台部署、支持主流浏览器、支持丰富的交互式操作，给用户带来完美的操作体验。

（5）查询统计：要求系统支持实时数据订阅功能、单测点一段时间的数据统计、多测点历史时刻断面数据查询、历史趋势曲线查询、历史数据复杂条件查询、风速频率分析、风向频率分析、有效风时数统计、等效利用小时数统计、可利用率统计等。

（6）交互接口：要求系统对外提供标准协议的交互接口，以响应本地单位和上级单位的数据需求，同时响应电网下发的调度控制指令，常见交互方式如：实时数据流推送方式、查询请求响应方式、按自定义表格导出文件方式、提供标准ModbusServer响应读/写指令的方式等。

2.1.4 总结

以SCADA系统为起点做更广泛的分析研究，可以发现部署在现场的系统是物联网中的关键一环，这类系统的运行环境具有网络环境复杂、采集数据量大、实时性要求高、响应速度快等特点，如果把所有采集到的数据和需要做出的实时判断都放在云计算中心处理，不仅会增加中心的处理压力，还会因返回结果经过复杂的网络传输而导致延时。所以，边缘计算变得尤为重要。

通过边缘计算手段，这类系统解决了云端数据洪峰，数据处理延迟高、效率低的问题，可在设备边缘侧对高频采集的海量数据预先进行清洗、加工、聚合之后再上云，大大减少了数据传输成本，降低了数据处理的延时，提高实时响应速度。

2.2区域级

在风力发电领域中，“区域级”对应着“区域集控中心”。

在风电区域集控系统的早期发展中，借鉴了火力发电厂的厂级监控信息系统（Supervisory Information System in Power Plant，以下简称SIS系统）解决方案。下面首先参考一下SIS系统的典型架构。

2.2.1 参考架构

火电厂为了提高生产效率，降低发电成本，在全厂范围内建立统一的数据平台，通过开发不同的接口软件，将DCS、RTU等控制系统的生产数据集成到平台的数据库之上，然后在平台上进行发电厂的性能计算、优化以及其他高级应用的开发工作，从而逐步建立起厂级监控信息系统，积极推动企业信息化的建设。

火电厂的SIS系统主要包括以下功能：

1. 实现全厂生产过程监视和管理

2. 为经济负荷分配提供参考

3. 实时处理生产现场中与生产成本相关的信息

4. 厂级性能计算和分析功能

5. 设备状态检测

6. 数学模型的建立和维护

SIS系统总体上包括三大部分：实时数据采集从底层DCS控制系统、SCADA系统中采集实时生产数据为系统提供实时信息，是整个系统的基础；实时数据库是整个厂级信息系统的核心，为上层数据监视、数据计算、分析优化和状态检测等功能提供应用平台；建立在实时数据库基础上的功能应用。

                                               火电厂SIS系统网络架构图

2.2.2 问题现状

直接将火电厂的SIS系统应用到风电区域集控中心显然会水土不服，要建设适应于风电场景的区域集控系统，需要解决以下问题：

数据传输的问题：与火电领域的集中式发电设备不同，风场建设分散，所处位置交通、通讯不便，所以集控中心的监控系统从一开始就是远程模式的。在网络质量差、传输带宽窄的条件下，还要保证数据传输的实时性、完整性、保密性，带宽资源按需分配，优先保证实时业务不受影响；

安全防护的问题：电力关系到国家安全，火电领域制定的安全管理规范被继承过来，从负责生产的管控层到负责运营的经营层，必然要经过世界上最严格的隔离防护环节，以确保绝对的安全。不仅风电场有单向隔离，在集控中心也有单向隔离，网络环境更加复杂；

规模增长的问题：火电厂的发电能力在设计时便已确定，而风电场的数量则一直保持高速增长，为避免不断推翻重复建设问题，要求系统有足够的上限余量和扩展能力，而且容量增加后，系统性能不能明显下降，要始终满足生产应用的实时性要求；

海量数据的问题：传统火电厂的测点规模一般为10万点，这相当于一个风电现场的测点数量，在集控中心的测点规模已达到50万，而且未来两年将达到平均200万点的规模，采集频率由10秒、5秒进一步提高到1秒，也就是说每秒产生200万条记录，存储5~10年海量历史数据，这对历史数据的对比分析、统计分析、挖掘计算等会是巨大挑战。

统一管理的问题：随着发电单元的逐渐增多，集控中心对现场基层单位的综合管理要求也将越来越高，各辖区设备类型繁多，现有各设备厂商提供的SCADA系统均由各制造商配套，现场级的SCADA系统已经无法满足管理需求。

2.2.3 风电区域集控系统

在风电区域集控系统中，连同现场一起的整体区域分为安全Ⅰ区、安全Ⅱ区、生产管理Ⅲ区、管理信息Ⅳ区。

风电场SCADA系统将各个现场的生产数据发送给部署在集控中心的实时数据库前置集群，传输过程中要克服带宽窄、网络不稳定、数据频率高等问题，同时保证数据不丢失、不被破解、不被篡改，集控中心收到数据后由实时数据库进行过滤压缩、实时计算等任务，同时支撑管控层的实时监控应用；之后通过实时数据库（生产管理Ⅲ区，镜像发送）的镜像功能穿过单向隔离网闸，将数据实时同步到经营层的实时数据库（管理信息Ⅳ区，镜像接收）中，该库同时支持经营层的应用和对接Hadoop平台，将分散的数据按照业务需求打包格式化并实时转换输出，通过分布式消息队列发送到Hadoop平台中，通过Hadoop平台中的组件及拓展模块程序完成应用的计算，平台整体采用松耦合的部署架构。

数据平台前置实时数据库确保大数据平台接收数据的实时性和可靠性，支撑实时触发类计算和远程风机设备控制类逻辑，同时确保历史数据的完整性。而大数据平台中的HDFS、YARN 、Impala、Zookeeper、Spark、Flume、Kudu、Sqoop、Solr、Kafka等共同支撑机器学习、高级模型计算、高级系统分析、绩效指标系统等各类发电行业内应用，实现实时报警系统、启停预判系统和故障预警及预测性服务三大业务目标。

                                                 风电场及集控中心网络拓扑图 

2.2.4系统要求

整体上看，区域集控系统可以看成是更大规模的SCADA系统，把各个厂家的SCADA系统的功能和数据都放到统一管理平台，从而逐步实现现场的少人值守/无人值守。所以，除了SCADA系统原有的要求外，其系统要求可总结如下：

1. 建立各厂家不同监控系统的统一管理平台

2. 实现对不同厂家设备运行状况统一管理

3. 建立更有效的检修及维护方式，实现集中远程监控

4. 提供灵活丰富的报表及直观的图形化的数据分析

5. 在低配网络下保证数据传输的实时性、完整性、保密性

6. 实现设备的远程控制，减少现场工作量

7. 实现跨安全隔离装置的数据传输

8. 建立大容量、高性能的数据管理平台

2.2.5总结

区域级处于现场级和集团级中间，大家争议最多的地方是这一级应该放到数据链路的哪个环节。本文所讲的是现场级→区域级→集团级，这也是绝大部分企业采用的架构；另外一种则是现场级→集团级→区域级，所有数据大集中统一管理，然后再分发数据，个别企业采用这种架构。

就风力发电行业来说，本文认为第一种架构是最合适的。生产为大，经营次之，承担生产任务的是现场级、区域级，如果现场实现无人化管理，那就只有区域级承担压力了，有压力才能把所辖业务做精做强，带来生产力的提升。如果数据都要从集团获取，作为各个业务统一的大平台，它很难为各区域不同业务需求灵活调整，而且集团不再生产一线，生产考核压力小，那区域级的进步就会受到各种因素阻碍。

2.3集团级

在风力发电领域中，“集团级”对应着“总部大数据中心”。

2.3.1 建设要求

发电集团总部管控中心数据平台的建设一般有以下建设要求：

1、企业私有云

（1）采用企业私有云技术，为软件开发、测试、运行提供物理资源；

（2）融合多种数据结构、格式，进行二次加工分析；

（3）采用大数据分析技术，从高频率、大容量的数据中获取更高价值。

2、从总部层面实现管控数据大融合

（1）发电量与生产经营效益融合分析；

（2）生产指标数据与企业经营目标数据融合分析；

（3）资源与生产效益融合分析。

3、实现设备状态的深度分析

（1）聚焦发电设备性能的研究，建立风机性能评价体系；

（2）运用功率曲线方法挖掘发电设备潜力；

（3）量化的数据统计、分析及报表机制。

最终目标是使集团能够科学研判发展形势，准确把握产业方向，及时感知经营风险，不断提高决策水平。

2.3.2 问题现状

“总部大数据中心”并不是简单意义上“区域集控系统”的放大版，他面临着其特有的问题：

数据传输的问题：区域到集团的网络链路大部分是专网专线，虽然距离更远，但网络质量好、传输带宽足够，真正的挑战是每个区域的数据量已经非常庞大，海量数据稳定传输是基本要求，要考虑纵向加密和传输压缩、支持多数据中心架构、灵活响应集团的各种数据需求、不同种类数据采用不同的传输策略，在中心节点的接收端必须承担巨大压力；

标准化的问题：集团的业务都是跨多个行业领域，来自不同厂家设备所提供的测点名称、机组状态等信息均不统一，不同业务系统对设备的定义也不一致，不同业务的数据如果不经过标准化，那对应用层的统计、分析、挖掘、对标与评价带来极大不便；

安全防护的问题：集团全网的安全防范体系要覆盖到每一个节点和物理链路，在网络安全、主机安全、数据库安全等方面都要做到全面防护，整体规划设计非常重要，在网络、主机、数据库的选型时要依照对应的安全评价要求确定准入名单， 任何一个环节的疏忽都可能带来极大的风险隐患。

2.3.3系统架构图

各地区域集控中心的数据汇总到总部大数据中心，如下图所示：

                                         基于实时数据库的集团级传输架构

在满足集团网络安全防护的要求下，基于实时数据库的数据镜像功能构建贯通上下的数据传输平台，数据镜像是指一个实时数据库可将指定标签点的数据自动同步至另一个实时数据库中，并一直保持同步更新，支持历史数据的修订或补采，支持用户的重新定义。此外，在数据镜像过程中实现数据标准化，在总部执行统一的设备编码标准。

总部大数据中心融合实时数据库、关系数据库、Hadoop、Spark等数据管理技术，实现集团数据资产管理，提供大数据应用和数据分析计算模型。

                                     总部大数据中心融合架构图

电力领域的数据多为实时传感数据（即时间序列数据），每台设备和传感器以分钟级、秒级甚至毫秒级周期将实时数据写入大数据中心，这对大数据中心的技术要求极高。需要通过专业的高性能实时数据库做接入，具备处理海量时间序列数据的技术、实时并行计算的技术、实时过滤压缩的技术，解决针对海量实时数据快速接入、实时计算、过滤压缩的复杂需求。此外，Hadoop从设计上专注于批处理，对于有些对时延有高要求的业务不能胜任，所以Hadoop主要承担海量历史数据分析挖掘类的业务。

2.3.4技术要点

（1）数据清洗技术

在大数据云平台，通过分布式的实时数据库前置集群接收现场系统上传的实时数据，并进行统一映射和数据清洗，从而有效解决海量实时数据的接收和处理。

方案优点：

• 数据集中清洗，规则统一维护，规则的变化便于管理和二次清洗

• 规则变化后，对历史数据也可以一致的处理

• 如需保存原始数据和清洗后数据，区域集控只需上传一份，减轻传输压力

（2）实时算力前置

电力大数据中需要涉及到大量的数据实时分析、研判场景，需要具备高容错、高安全、高吞吐以及满足复杂业务场景的实时计算系统，持续对输入的数据进行计算。基于实时数据库承担实时计算业务主要有以下好处：

• 没有中间环节，不受网络IO、磁盘IO限制，简单高效

• 允许用户不用高级语言，只简单方便的输入公式，就可得到结果值

• 支持多层依赖，缓存中间计算结果，避免重复计算

• 除了实时数据流，可方便获取历史统计数据参与计算

（3）区域到集团的数据交换

区域到集团的数据交换涉及到的用户和机构单位存在上下级关系，在集团用户的数据网络中存在海量设备数据的共享、交换需求，网络拓扑结构如下图所示。

在区域集控中心，通过多个实时数据库级联，将生产区、管理区数据实时同步，同时支撑各区应用；在集团总部大数据中心，将多个区域集控中心的数据汇总到一起，转发至存储系统中，支撑集团级监控应用。汇总的数据还可继续向后级联，可用于开发测试、数据分析挖掘等等。使用实时数据库的数据交换功能带来的好处是：

• 海量数据稳定传输，能够7*24支持海量数据吞吐

• 支持纵向加密和传输压缩，保证安全性，节省传输带宽

• 不用种类数据采用不同的传输策略，支持优先级调度

                                        区域到集团的数据交换网络架构图

本文地址：https://blog.csdn.net/kalila881205/article/details/109597583