欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

FusionInsight

程序员文章站 2022-03-08 14:24:58
...

大数据整体介绍

	FusionInsight是华为企业级大数据存储,插叙,分析的统一平台,能够帮助企业快速构建海亮数据信息处理系统,通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机
	FusionInsight HD 是一个大数据全栈商用平台,支持各种通用大数据应用场景。

FusionInsight架构:分层解耦开放

FusionInsight

FusionInsight HD解决方案架构

FusionInsight

组件介绍

**Manager**:作为运维系统,为FusionInsight HD提供高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装/升级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。
**HDFS**:Hadoop分布式文件系统(Hadoop Distributed File System),提供高吞吐量的数据访问,适合大规模数据集方面的应用。
**HBase**:提供海量数据存储功能,是一种构建在HDFS之上的分布式、面向列的存储系统。
**Oozie**:提供了对开源Hadoop组件的任务编排、执行的功能。以Java Web应用程序的形式运行在Java servlet容器(如:Tomcat)中,并使用数据库来存储 工作流定义、当前运行的工作流实例(含实例的状态和变量)。
**ZooKeeper**:提供分布式、高可用性的协调服务能力。帮助系统避免单点故障,从而建立可靠的应用程序。
Redis:提供基于内存的高性能分布式K-V缓存系统。
**Yarn**:Hadoop 2.0中的资源管理系统,它是一个通用的资源模块,可以为各类应用程序进行资源管理和调度。
**Mapreduce**:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境。
**Spark**:基于内存进行计算的分布式计算框架。
**Hive**:建立在Hadoop基础上的开源的数据仓库,提供类似SQL的Hive QL语言操作结构化数据存储服务和基本的数据分析服务。
**Loader**:基于Apache Sqoop 实现FusionInsight HD与关系型数据库、ftp/sftp文件服务器之间数据批量导入/导出工具;同时提供Java API/shell任务调度接口,供第三方调度平台调用。
**Hue**:提供了开源Hadoop组件的WebUI,可以通过浏览器操作HDFS的目录和文件,调用Oozie来创建、监控和编排工作流,可操作Loader组件,查看ZooKeeper集群情况。
**Flume**:一个分布式、可靠和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写入各种数据接受方(可定制)的能力。
**Solr**:一个高性能,基于Lucene的全文检索服务器。Solr对Lucene进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文检索引擎。
**Elasticsearch**:一个兼有搜索引擎和NoSQL数据库功能的开源系统,基于JAVA/Lucene构建,开源、分布式、支持RESTful请求。Elasticsearch服务支持结构化、非结构化文本的多条件检索、统计和报表生成,拥有完善的监控体系,提供一系列系统,集群以及查询性能等关键指标,让用户更专注于业务逻辑的实现。多用于日志搜索和分析、时空检索、时序检索和报表、智能搜索等场景。
**Kafka**:一个分布式的、分区的、多副本的实时消息发布-订阅系统。提供可扩展、高吞吐、低延迟、高可靠的消息分发服务。
**Storm**:一个分布式、可靠、容错的实时流式数据处理的系统,并提供类SQL(StreamCQL)的查询语言。
**Flink**:分布式的、高可用的、能保证Exactly Once语义的针对流数据和批数据的处理引擎。
**SparkSQL**:基于Spark引擎的高性能SQL引擎,可与Hive实现元数据共享。
**Elk**:一个分布式交互查询分析数据仓库引擎,支持标准的SQL2003规范,支持标准SQL对数据的并行插入、删除、修改、查询等功能。
**MLlib**:提供基于Spark的数据挖掘算法库。
**GraphX**:提供基于Spark的图处理算法库。
**GraphBase** : 提供关系数据存储、查询、分析能力。
**Pollux**: 一个兼容相同数据中心和跨数据中心多数据源协助查询的系统。
相关标签: 大数据