欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

MetaQ技术内情——源码分析(一)

程序员文章站 2022-07-13 14:00:10
...

MetaQ技术内幕——源码分析(一)

笔者最近在业务上需要使用到MetaQ,也借此阅读了MetaQ的相关源码,准备分享MetaQ源码分析。先扫扫盲,如果读者对MetaQ已经较为熟悉,可以跳过下一段落。

 

一、MetaQ简介

 

MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,,MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,METAQ在阿里巴巴各个子公司被广泛应用,每天转发250亿+条消息。主要应用于异步解耦,Mysql数据复制,收集日志等场景。

 

 主要特点

 

  • 生产者、服务器和消费者都可分布
  • 消息存储顺序写
  • 性能极高,吞吐量大
  • 支持消息顺序
  • 支持本地和XA事务
  • 客户端pull,随机读,利用sendfile系统调用,zero-copy ,批量拉数据
  • 支持消费端事务
  • 支持消息广播模式
  • 支持异步发送消息
  • 支持http协议
  • 支持消息重试和recover
  • 数据迁移、扩容对用户透明
  • 消费状态保存在客户端
  • 支持同步和异步复制两种HA

二、MetaQ的总体架构

 

消息中间件消费消息有两种方式,推送消息和拉取消息,一般对于实时性要求非常高的消息中间件,会更多的采用推送的模式,如ActivitiQ,而MetaQ采用的主动拉取消息的模式,通过Zookeeper进行协调,MetaQ分为三部分:Server、Client(包括消息产生者和消费者)以及协调者Zookeeper,总体结构如下:

 

 
MetaQ技术内情——源码分析(一)
            
    
    博客分类: MetaQ MetaQ 

 

三、工程结构分析

 

MetaQ的源码可以从以下链接获取:https://github.com/killme2008/Metamorphosis (本序列基于MetaQ 1.4.5进行分析),下载工程到本地,我们发现主要有如下几个工程,先大致介绍一下工程的划分:

 


MetaQ技术内情——源码分析(一)
            
    
    博客分类: MetaQ MetaQ 

 

  • metamorphosis-client,生产者和消费者客户端
  • metamorphosis-client-extension,扩展的客户端。用于将消费处理失败的消息存入notify(未提供),和使用meta作为log4j appender,可以透明地使用log4j API发送消息到meta
  • metamorphosis-commons,客户端和服务端一些公用的东西
  • metamorphosis-dashboard, metaq的Web信息展示
  • metamorphosis-example,客户端使用的例子
  • metamorphosis-http-client,使用http协议的客户端
  • metamorphosis-server,服务端工程
  • metamorphosis-server-wrapper,扩展的服务端,用于将其他插件集成到服务端,提供扩展功能,支持高可用的同步异步复制
  • metamorphosis-storm-spout,用于将meta消息接入到twitter storm集群做实时分析
  • metamorphosis-tools,提供服务端管理和操作的一些工具

 工程依赖图大致如下:

 

 
MetaQ技术内情——源码分析(一)
            
    
    博客分类: MetaQ MetaQ 

 

源码分析也将以分Server和Client两阶段进行,将优先进行Server的分析,下一篇将正式带大家进入MetaQ的世界。

相关标签: MetaQ