hadoop_AVRO数据序列化系统_简介 博客分类： HaDoop学习笔记AVRO数据序列化系统 Avro简介avro数据模式
程序员文章站
2024-03-06 12:37:25
...
声明（）内容为个人理解，[]内容为注解
（1）Avro是一个独立于编程语言的数据序列化系统[基于IDL]，目的在于解决hadoop中的语言移植性问题；Avro数据是用语言无关的模式定义的。
【注解】IDL：接口描述语言，以不依赖于具体语言的方式进行声明，以独立于语言和硬件的方式来定义接口。
（2）Avro模式通常采用JSON写，数据通常采用二进制格式来编码，也可以用Avro IDL语言编写Avro模式，数据则采用基于JSON的数据编码方式[这种编码方式是人类可读的]。
Avro规范精确定义了实现必须支持二进制格式，但没有规定Avro API（只要支持二进制格式的语言都可以avro数据进行操作）
（3）Avro的模式解析
Avro支持模式演化，即读数据所用的模式不必与写数据所用的模式相同[当一个新的,可选择的字段加入一个记录中，在读取老数据的模式中声明即可][新客户端可以读取旧模式存储的数据，也可以读取新模式下写入的新内容，但老客户端只能读取旧模式存储的数据，对新模式下写入的数据表示忽略]，每个文件中保存文件模式，便于任何程序对此文件的处理
（4）Avro为一系列对象指定了一个对象容器格式，[类似与hadoop中的顺序文件[SquenceFile文件]]，Avro数据文件中包含元数据项[模式数据存于其中]和实际数据项，因此Avro文件可以自我声明；Avro数据文件支持压缩，并且支持切分（所以Avro文件特别适合作为mapreduce的输入数据格式）
（5）Avro的优点
a.有丰富的数据结构类型（基本数据类型和复杂数据类型）
b.丰富的数据结构类型（对mapreduce是很好的支持）
c.存储持久数据的文件容器（可以合并大量小文件，将便于解决hadoop对大量小文件的困扰）
d.远程过程调用RPC
e.简单的动态语言结合功能，Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种可选的优化只值得在静态类型语言中实现（再一次说明Avro不是独立与语言的）模式和数据存放在一起，模式使得整个数据的处理过程并不生成代码、静态数据类型等等。这方便了数据处理系统和语言的构造。
（1）Avro是一个独立于编程语言的数据序列化系统[基于IDL]，目的在于解决hadoop中的语言移植性问题；Avro数据是用语言无关的模式定义的。
【注解】IDL：接口描述语言，以不依赖于具体语言的方式进行声明，以独立于语言和硬件的方式来定义接口。
（2）Avro模式通常采用JSON写，数据通常采用二进制格式来编码，也可以用Avro IDL语言编写Avro模式，数据则采用基于JSON的数据编码方式[这种编码方式是人类可读的]。
Avro规范精确定义了实现必须支持二进制格式，但没有规定Avro API（只要支持二进制格式的语言都可以avro数据进行操作）
（3）Avro的模式解析
Avro支持模式演化，即读数据所用的模式不必与写数据所用的模式相同[当一个新的,可选择的字段加入一个记录中，在读取老数据的模式中声明即可][新客户端可以读取旧模式存储的数据，也可以读取新模式下写入的新内容，但老客户端只能读取旧模式存储的数据，对新模式下写入的数据表示忽略]，每个文件中保存文件模式，便于任何程序对此文件的处理
（4）Avro为一系列对象指定了一个对象容器格式，[类似与hadoop中的顺序文件[SquenceFile文件]]，Avro数据文件中包含元数据项[模式数据存于其中]和实际数据项，因此Avro文件可以自我声明；Avro数据文件支持压缩，并且支持切分（所以Avro文件特别适合作为mapreduce的输入数据格式）
（5）Avro的优点
a.有丰富的数据结构类型（基本数据类型和复杂数据类型）
b.丰富的数据结构类型（对mapreduce是很好的支持）
c.存储持久数据的文件容器（可以合并大量小文件，将便于解决hadoop对大量小文件的困扰）
d.远程过程调用RPC
e.简单的动态语言结合功能，Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而代码生成作为一种可选的优化只值得在静态类型语言中实现（再一次说明Avro不是独立与语言的）模式和数据存放在一起，模式使得整个数据的处理过程并不生成代码、静态数据类型等等。这方便了数据处理系统和语言的构造。