如何有效降低大数据平台安全风险 算法pythonjava
程序员文章站
2022-07-12 16:27:29
...
**企业大数据上云的安全顾虑**
企业大数据在上云过程中，通常会有这样一些安全顾虑：“数据从企业内部迁移到云上后，数据有没有可能会被丢掉? ”，“数据在云上存储时，数据是否可能被篡改?”, “数据在云上使用的时候，数据是否有可能被泄露出去? ”。这三类问题非常具有代表性，它们刚好涵盖了信息安全的三个基本要素，即: 信息的可用性、信息的完整性以及信息的保密性。应当说，这三类问题并不是因为大数据上云而额外带来的，即使在企业内部构建自身的大数据平台的时候，依然要解决这三类安全问题。今天我们将通过深入解读飞天大数据中台的安全体系，帮助企业了解如何有效降低大数据中台的安全风险。
我们将企业级大数据中台要面临的安全风险, 根据其所涉及的系统及技术领域的不同, 分为三个层次。最基础的层次是数据中心的物理安全与网络安全，数据中心是构建大数据中台的基础，数据中心自身安全性和网络接入安全性直接影响到企业大数据中台的可用性。在这之上是企业大数据平台的系统安全，由大数据平台内部的各个安全子系统构成，这些安全子系统共同保障了大数据平台的完整性。最上层是数据应用安全，这层贴近于用户的应用场景。通过在这一层提供丰富多样的数据安全产品，大数据中台为用户应用数据的各类业务场景提供切实可靠的数据安全能力。
**数据中心物理安全与网络安全**
在飞天大数据中台中，数据中心物理与网络层的安全保障, 由阿里云数据中心安全基础设施提供。我们重点介绍三个维度的安全措施：
第一个维度是数据中心保障设施，主要包括供电保障以及冷却保障. 阿里云数据中心可以支持独立的多路供电、低压变配电系统和高冗余UPS/HVDC以及高可靠后备电源系统和多级防雷接地系统, 这些设施共同为阿里云数据中心提供了高可用的供电保障。阿里云数据中心的冷却系统, 通过提供冷源设备管路以及终端的多路冗余的基础设施, 为数据中心的提供了高可用的冷却保障。
第二个维度是数据中心安全管控。 阿里云数据中心的运维过程遵循一系列的管控流程, 包括安全管控流程和运维管控流程. 在安全管控流程中， 阿里云数据中心将参与整个生产过程的人和物理建筑各分为三个等级，在每个等级上标记不同的颜色，并基于这些颜色标记构建了色彩管控体系。同时，为了检验安全管控流程在设施中持续有效的运行，阿里云数据中心还建立了针对性的对抗检验体系。另一方面，阿里云数据中心还提供7×24运维监控，并且可以将数据中心产生的各类运维事件接入到不同的管控平台中。
第三个维度是数据中心的网络安全。阿里云数据中心一方面提供多路冗余的网络接入，最大限度保证接入网络的可用性, 另一方面提供低收敛比的网络架构，针对大数据计算场景, 量身优化基础网络架构。此外，针对网络攻击，阿里云数据中心不仅可以提供网络高防服务和近源攻击清洗的能力, 还能充分利用云安全基础设施WAF, 为上层大数据平台提供七层的网络防御能力。
**大数据平台系统安全**
MaxCompute平台安全系统主要包括四个子系统：
访问控制子系统，负责处理所有的访问接入控制和权限控制. MaxCompute在接入控制上可以支持IP白名单能力，在权限控制上提供ACL(DAC) , LABEL(MAC)权限控制以及基于属性的POLICY(ABAC) 访问控制能力, 还能通过Package提供安全的数据共享能力。
应用程序隔离子系统，该子系统提供独立的隔离环境用于执行数据处理Application. MaxCompute 可以支持 Java和Python语言编写的UDF, 还能够支持执行三方计算引擎，这些都为 MaxCompute的客户提供了更加多元化的数据处理能力。
风控审计子系统，提供多种事件审计的日志，主要包括任务日志和用户日志及表的日志，还提供多种的元数据能力，包括表和资源。
平台可信子系统，基于可信硬件和软件设施提供存储加密等能力。
**MaxCompute平台访问控制子系统**
MaxCompute访问控制子系统是构建平台多租户体系的基础。MaxCompute中的每个租户拥有一个或多个project，每个project会包括三类的内容。第一类是project属性，包括Quota和Owner信息。第二类是project数组，包括User ID和Role。第三类是project所有的资源，包括表、函数、文件系统和Instance实例等。
作为我们将在云上提供的新功能之一, 租户可以将VPC ID配置为访问控制条件，仅允许来自于指定VPC的请求,访问特定的project，这就是MaxCompute访问控制的VPC白名单能力。针对在企业场景中，我们还将提供对console端识别的访问控制能力, 以满足企业对生产设备进行日益严格的访问管控安全需求。同时。MaxCompute还将在云上提供权限系统2.0，这其中主要包括 精细粒度ACL权限控制能力, 独立的下载权限，以及人到表及表到人的权限查询能力。所有这些新功能，都旨在为公共云上的企业客户提供更安全更专业的数据授权和适用控制支撑。
**MaxCompute平台应用程序隔离子系统**
MaxCompute平台上可支持多种类型的应用程序。当被租户要求执行这些应用程序时，MaxCompute应用程序隔离子系统会将它们分别运行在独立的虚拟化隔离环境中。这不仅为应用的运行环境兼容性提供了保障, 还充分保证了这些应用之间以及他们与平台自身之间有足够强度的安全隔离。
基于这些技术沉淀以及安全保障，MaxCompute平台将在云上为企业客户提供新的应用程序类型 --- 用户自定义引擎。通过用户自定义引擎, 企业基于Spark或者Flink等开源引擎定制的计算引擎，都将可以用来在MaxCompute平台中处理数据。
**MaxCompute平台风控审计子系统**
MaxCompute平台将为云上的企业客户重点提供Information Schema 1.0功能。
MaxCompute Information Schema1.0 将包括三种类型的元数据, 分别是数据管理类, 权限管理类以及综合分析类。基于第一类元数据, 用户可以实现详细的数据生命周期的管理功能, 还可以实现Owner检索以及存储尺寸检索的数据管理功能。基于第二类元数据, 用户可以实现用户或角色信息的查询、用户的权限查询、资源的权限查询、表和字段打标的查询等, 这些企业级权限管理类功能。 基于第三类元数据, 用户可以实现定制化分析的功能，包括热表分析、表血缘分析、费用分析、性能分析等企业级分析功能。
MaxCompute Information Schema1.0将以准实时的方式为用户提供数据。
**MaxCompute 平台可信子系统**
MaxCompute将在云上为企业客户提供BYOK的存储加密能力。用户可以将自己指定的秘钥上传到阿里云KMS中作为数据加密的根秘钥。 MaxCompute平台在进行数据加密时，经过用户授权, 使用用户上传的主秘钥生成数据加密秘钥(DataKey)，然后使用DataKey对数据进行加密, 并将加密过的数据以及经过根秘钥加密过的DataKey存储在物理介质中。 加密过程的算法可以支持AES256和国密算法SM4。
存储加密BYOK，赋予企业需要销毁云上数据的能力. 企业只需要在阿里云KMS中销毁根秘钥, 即可实现销毁云上所有基于此根秘钥加密的数据。
**数据应用安全**
数据应用安全，本质上需要解决三大数据应用风险: 数据泄露,数据滥用和数据误用。
飞天大数据中台通过DataWorks数据安全产品为用户提供完善的数据应用安全解决方案。DataWorks数据安全产品主要分类三个类别: 权限管控类产品将提供申请流程控制、审批流程控制、权限回收以及权限查看的基本的产品能力; 数据保护类产品将提供数据分类分级、敏感数据识别 、数据打标、静态脱敏以及差分隐私的能力; 风险治理类产品将提供敏感权限审计、数据访问审计、数据防泄漏以及数据防滥用能力。
**DataWorks 数据应用安全解决方案**
DataWorks 数据应用安全解决方案如图所示。数据识别能力为用户数据可以提供多种类型的规则进行数据的打标，可以基于数据的字段安全来定义数据的安全等级、个人信息数据等级、表安全等级和安全分类标签，所有的数据在经过自动的识别之后，通过MaxCompute的字段级打标能力直接进入到MaxCompute的源数据中。
DataWorks权限管控类产品，可以基于安全分类标签, 对表,字段级的权限申请进行控制. 这些权限申请在被提交后，交由企业内部业务角色审批。在审批通过之后, DataWorks使用MaxCompute的字段级ACL以及Label等授权手段，为企业数据提供最小粒度的权限控制, 这帮助企业有效减少了数据滥用行为。
所有的授权操作会进入到MaxCompute的风控审计数据中，并通过Information Schema提供给用户进行审计。同时, 这些人员权限审计、资源权限审计、权限使用审计也将为DataWorks 风险治理类数据安全产品提供了数据支撑. 通过使用这类产品, 企业可以通过即时回收数据权限, 有效避免数据泄露。
经过数据识别, 打标为个人敏感信息的数据, DataWorks提供静态脱敏产品，并支持自定义脱敏规则。MaxCompute也提供回显脱敏和下载脱敏的功能。此外，DataWorks还将提供差分隐私的脱敏服务。所有对个人敏感信息的使用也进入了到元数据中，通过MaxCompute Information Schema功能，为用户提供数据使用审计支持。
**DataWorks数据安全权限管控产品**
DataWorks 数据安全产品主要分为权限管控类和数据保护类两个部分。
**DataWorks数据安全权限管控产品**
DataWorks 安全中心2.0目前提供权限管控功能. 用户可以在DataWorks安全中心中针对特定的字段进行权限申请。在权限申请中可以设置特定的权限使用时间、权限申请理由以及使用范围。权限申请在被提交之后，将会出现在权限审批者的页面中. 在审批者的待审批页面中，可以看到申请者提供的详细申请信息。当审批按照拒绝流程处理时，申请人的列表里，也会看到申请人拒绝审批的状态。同时，在权限审批完成后，安全中心会提供表到人和人到表的权限查询功能，并可以在功能中直接进行权限回收。
**DataWorks数据安全数隐私保护产品**
差分隐私是目前在数学上可以证明隐私保护手段。将包含敏感信息的数据经过差分隐私脱敏处理后, 脱敏数据与原始数据之间呈现出数学上可描述的概率分布规律，如上图所示。红线是包含原始数据，黑线是经过脱敏的数据。这意味着, 在某些统计场景中, 可以用脱敏后的数据替代原始数据而不影响统计结果。
DataWorks差分隐私服务提供两个UDF函数，分别用来实现数据脱敏和脱敏结果的统计计算。由上图可以看出，经过DataWorks差分隐私服务脱敏处理后，脱敏数据与原始数据可以呈现出非常好的统计一致性。
**阿里云飞天大数据平台安全体系**
最后我们来回顾一下阿里云飞天大数据中台安全体系的主要内容。
首先，阿里云数据中心的安全基础设施为飞天大数据中台提供了物理层安全设施和安全管控流程,还提供了网络安全的支撑。
在这之上，MaxCompute平台安全系统通过访问控制子系统、应用程序隔离子系统、风控审计子系统和平台可信系统为企业客户提供大数据平台的完整性保障。这一层最新发布了VPC白名单、App端识别、权限系统2.0以及用户定义计算引擎的能力。还最新支持了InformationSchema1.0元数据能力和BYOK存储加密能力。
在往上一层, DataWorks 数据安全产品为用户的数据应用场景提供的数据防泄漏，数据防滥用以及数据防误用的能力。这一层主要包括权限管控类产品、数据保护类产品以及风险治理类产品。Dataworks最新发布了安全中心2.0以及差分隐私服务。
所有的产品和系统为用户数据的全生命周期安全提供了坚实保障。
[原文链接](https://yq.aliyun.com/articles/723592?utm_content=g_1000085637)
本文为云栖社区原创内容，未经允许不得转载。
企业大数据在上云过程中，通常会有这样一些安全顾虑：“数据从企业内部迁移到云上后，数据有没有可能会被丢掉? ”，“数据在云上存储时，数据是否可能被篡改?”, “数据在云上使用的时候，数据是否有可能被泄露出去? ”。这三类问题非常具有代表性，它们刚好涵盖了信息安全的三个基本要素，即: 信息的可用性、信息的完整性以及信息的保密性。应当说，这三类问题并不是因为大数据上云而额外带来的，即使在企业内部构建自身的大数据平台的时候，依然要解决这三类安全问题。今天我们将通过深入解读飞天大数据中台的安全体系，帮助企业了解如何有效降低大数据中台的安全风险。
我们将企业级大数据中台要面临的安全风险, 根据其所涉及的系统及技术领域的不同, 分为三个层次。最基础的层次是数据中心的物理安全与网络安全，数据中心是构建大数据中台的基础，数据中心自身安全性和网络接入安全性直接影响到企业大数据中台的可用性。在这之上是企业大数据平台的系统安全，由大数据平台内部的各个安全子系统构成，这些安全子系统共同保障了大数据平台的完整性。最上层是数据应用安全，这层贴近于用户的应用场景。通过在这一层提供丰富多样的数据安全产品，大数据中台为用户应用数据的各类业务场景提供切实可靠的数据安全能力。
**数据中心物理安全与网络安全**
在飞天大数据中台中，数据中心物理与网络层的安全保障, 由阿里云数据中心安全基础设施提供。我们重点介绍三个维度的安全措施：
第一个维度是数据中心保障设施，主要包括供电保障以及冷却保障. 阿里云数据中心可以支持独立的多路供电、低压变配电系统和高冗余UPS/HVDC以及高可靠后备电源系统和多级防雷接地系统, 这些设施共同为阿里云数据中心提供了高可用的供电保障。阿里云数据中心的冷却系统, 通过提供冷源设备管路以及终端的多路冗余的基础设施, 为数据中心的提供了高可用的冷却保障。
第二个维度是数据中心安全管控。 阿里云数据中心的运维过程遵循一系列的管控流程, 包括安全管控流程和运维管控流程. 在安全管控流程中， 阿里云数据中心将参与整个生产过程的人和物理建筑各分为三个等级，在每个等级上标记不同的颜色，并基于这些颜色标记构建了色彩管控体系。同时，为了检验安全管控流程在设施中持续有效的运行，阿里云数据中心还建立了针对性的对抗检验体系。另一方面，阿里云数据中心还提供7×24运维监控，并且可以将数据中心产生的各类运维事件接入到不同的管控平台中。
第三个维度是数据中心的网络安全。阿里云数据中心一方面提供多路冗余的网络接入，最大限度保证接入网络的可用性, 另一方面提供低收敛比的网络架构，针对大数据计算场景, 量身优化基础网络架构。此外，针对网络攻击，阿里云数据中心不仅可以提供网络高防服务和近源攻击清洗的能力, 还能充分利用云安全基础设施WAF, 为上层大数据平台提供七层的网络防御能力。
**大数据平台系统安全**
MaxCompute平台安全系统主要包括四个子系统：
访问控制子系统，负责处理所有的访问接入控制和权限控制. MaxCompute在接入控制上可以支持IP白名单能力，在权限控制上提供ACL(DAC) , LABEL(MAC)权限控制以及基于属性的POLICY(ABAC) 访问控制能力, 还能通过Package提供安全的数据共享能力。
应用程序隔离子系统，该子系统提供独立的隔离环境用于执行数据处理Application. MaxCompute 可以支持 Java和Python语言编写的UDF, 还能够支持执行三方计算引擎，这些都为 MaxCompute的客户提供了更加多元化的数据处理能力。
风控审计子系统，提供多种事件审计的日志，主要包括任务日志和用户日志及表的日志，还提供多种的元数据能力，包括表和资源。
平台可信子系统，基于可信硬件和软件设施提供存储加密等能力。
**MaxCompute平台访问控制子系统**
MaxCompute访问控制子系统是构建平台多租户体系的基础。MaxCompute中的每个租户拥有一个或多个project，每个project会包括三类的内容。第一类是project属性，包括Quota和Owner信息。第二类是project数组，包括User ID和Role。第三类是project所有的资源，包括表、函数、文件系统和Instance实例等。
作为我们将在云上提供的新功能之一, 租户可以将VPC ID配置为访问控制条件，仅允许来自于指定VPC的请求,访问特定的project，这就是MaxCompute访问控制的VPC白名单能力。针对在企业场景中，我们还将提供对console端识别的访问控制能力, 以满足企业对生产设备进行日益严格的访问管控安全需求。同时。MaxCompute还将在云上提供权限系统2.0，这其中主要包括 精细粒度ACL权限控制能力, 独立的下载权限，以及人到表及表到人的权限查询能力。所有这些新功能，都旨在为公共云上的企业客户提供更安全更专业的数据授权和适用控制支撑。
**MaxCompute平台应用程序隔离子系统**
MaxCompute平台上可支持多种类型的应用程序。当被租户要求执行这些应用程序时，MaxCompute应用程序隔离子系统会将它们分别运行在独立的虚拟化隔离环境中。这不仅为应用的运行环境兼容性提供了保障, 还充分保证了这些应用之间以及他们与平台自身之间有足够强度的安全隔离。
基于这些技术沉淀以及安全保障，MaxCompute平台将在云上为企业客户提供新的应用程序类型 --- 用户自定义引擎。通过用户自定义引擎, 企业基于Spark或者Flink等开源引擎定制的计算引擎，都将可以用来在MaxCompute平台中处理数据。
**MaxCompute平台风控审计子系统**
MaxCompute平台将为云上的企业客户重点提供Information Schema 1.0功能。
MaxCompute Information Schema1.0 将包括三种类型的元数据, 分别是数据管理类, 权限管理类以及综合分析类。基于第一类元数据, 用户可以实现详细的数据生命周期的管理功能, 还可以实现Owner检索以及存储尺寸检索的数据管理功能。基于第二类元数据, 用户可以实现用户或角色信息的查询、用户的权限查询、资源的权限查询、表和字段打标的查询等, 这些企业级权限管理类功能。 基于第三类元数据, 用户可以实现定制化分析的功能，包括热表分析、表血缘分析、费用分析、性能分析等企业级分析功能。
MaxCompute Information Schema1.0将以准实时的方式为用户提供数据。
**MaxCompute 平台可信子系统**
MaxCompute将在云上为企业客户提供BYOK的存储加密能力。用户可以将自己指定的秘钥上传到阿里云KMS中作为数据加密的根秘钥。 MaxCompute平台在进行数据加密时，经过用户授权, 使用用户上传的主秘钥生成数据加密秘钥(DataKey)，然后使用DataKey对数据进行加密, 并将加密过的数据以及经过根秘钥加密过的DataKey存储在物理介质中。 加密过程的算法可以支持AES256和国密算法SM4。
存储加密BYOK，赋予企业需要销毁云上数据的能力. 企业只需要在阿里云KMS中销毁根秘钥, 即可实现销毁云上所有基于此根秘钥加密的数据。
**数据应用安全**
数据应用安全，本质上需要解决三大数据应用风险: 数据泄露,数据滥用和数据误用。
飞天大数据中台通过DataWorks数据安全产品为用户提供完善的数据应用安全解决方案。DataWorks数据安全产品主要分类三个类别: 权限管控类产品将提供申请流程控制、审批流程控制、权限回收以及权限查看的基本的产品能力; 数据保护类产品将提供数据分类分级、敏感数据识别 、数据打标、静态脱敏以及差分隐私的能力; 风险治理类产品将提供敏感权限审计、数据访问审计、数据防泄漏以及数据防滥用能力。
**DataWorks 数据应用安全解决方案**
DataWorks 数据应用安全解决方案如图所示。数据识别能力为用户数据可以提供多种类型的规则进行数据的打标，可以基于数据的字段安全来定义数据的安全等级、个人信息数据等级、表安全等级和安全分类标签，所有的数据在经过自动的识别之后，通过MaxCompute的字段级打标能力直接进入到MaxCompute的源数据中。
DataWorks权限管控类产品，可以基于安全分类标签, 对表,字段级的权限申请进行控制. 这些权限申请在被提交后，交由企业内部业务角色审批。在审批通过之后, DataWorks使用MaxCompute的字段级ACL以及Label等授权手段，为企业数据提供最小粒度的权限控制, 这帮助企业有效减少了数据滥用行为。
所有的授权操作会进入到MaxCompute的风控审计数据中，并通过Information Schema提供给用户进行审计。同时, 这些人员权限审计、资源权限审计、权限使用审计也将为DataWorks 风险治理类数据安全产品提供了数据支撑. 通过使用这类产品, 企业可以通过即时回收数据权限, 有效避免数据泄露。
经过数据识别, 打标为个人敏感信息的数据, DataWorks提供静态脱敏产品，并支持自定义脱敏规则。MaxCompute也提供回显脱敏和下载脱敏的功能。此外，DataWorks还将提供差分隐私的脱敏服务。所有对个人敏感信息的使用也进入了到元数据中，通过MaxCompute Information Schema功能，为用户提供数据使用审计支持。
**DataWorks数据安全权限管控产品**
DataWorks 数据安全产品主要分为权限管控类和数据保护类两个部分。
**DataWorks数据安全权限管控产品**
DataWorks 安全中心2.0目前提供权限管控功能. 用户可以在DataWorks安全中心中针对特定的字段进行权限申请。在权限申请中可以设置特定的权限使用时间、权限申请理由以及使用范围。权限申请在被提交之后，将会出现在权限审批者的页面中. 在审批者的待审批页面中，可以看到申请者提供的详细申请信息。当审批按照拒绝流程处理时，申请人的列表里，也会看到申请人拒绝审批的状态。同时，在权限审批完成后，安全中心会提供表到人和人到表的权限查询功能，并可以在功能中直接进行权限回收。
**DataWorks数据安全数隐私保护产品**
差分隐私是目前在数学上可以证明隐私保护手段。将包含敏感信息的数据经过差分隐私脱敏处理后, 脱敏数据与原始数据之间呈现出数学上可描述的概率分布规律，如上图所示。红线是包含原始数据，黑线是经过脱敏的数据。这意味着, 在某些统计场景中, 可以用脱敏后的数据替代原始数据而不影响统计结果。
DataWorks差分隐私服务提供两个UDF函数，分别用来实现数据脱敏和脱敏结果的统计计算。由上图可以看出，经过DataWorks差分隐私服务脱敏处理后，脱敏数据与原始数据可以呈现出非常好的统计一致性。
**阿里云飞天大数据平台安全体系**
最后我们来回顾一下阿里云飞天大数据中台安全体系的主要内容。
首先，阿里云数据中心的安全基础设施为飞天大数据中台提供了物理层安全设施和安全管控流程,还提供了网络安全的支撑。
在这之上，MaxCompute平台安全系统通过访问控制子系统、应用程序隔离子系统、风控审计子系统和平台可信系统为企业客户提供大数据平台的完整性保障。这一层最新发布了VPC白名单、App端识别、权限系统2.0以及用户定义计算引擎的能力。还最新支持了InformationSchema1.0元数据能力和BYOK存储加密能力。
在往上一层, DataWorks 数据安全产品为用户的数据应用场景提供的数据防泄漏，数据防滥用以及数据防误用的能力。这一层主要包括权限管控类产品、数据保护类产品以及风险治理类产品。Dataworks最新发布了安全中心2.0以及差分隐私服务。
所有的产品和系统为用户数据的全生命周期安全提供了坚实保障。
[原文链接](https://yq.aliyun.com/articles/723592?utm_content=g_1000085637)
本文为云栖社区原创内容，未经允许不得转载。
上一篇： php mongodb 实现group 并按照某字段排序
下一篇： 升级node