# 基于amqp实现的golang消息队列 MaxQ 2017-07-01 张培培 饿了么－基础框架组 ## 内容 1. 队列 2. IPC消息队列 3. AMQP协议 4. MaxQ架构模型 5. MaxQ相关特性 6. 使用场景和案例 ### 1. 队列  跟消息队列相比，有哪些共性？ • 生产者消费者 • 通信方式 • 存储方式 • 堆积能力 消息可靠性 • 生产消费关系 • Pull/Push ### 2. IPC消息队列  跟消息队列相比，有哪些共性？ ### 集群中各Node通过grpc通信，publish、delivery、ack转发，HA消息同步 3. zookeeper存储元数据保证元数据一致性，Master queue选举 4. 集群管理维护所有 MaxQ 集群 ### 5. MaxQ相关特性 1. 消息可靠性 2. 容错性 3. 扩展性 4. 高并发 ## 消息可靠性 ![Image](/uploads/documents/6/b/0/

## Apache RocketMQ 事务消息 王强 (辽天) 阿里巴巴 中间件技术专家 ## QCon 全球软件开发大会 北京·2019 更多技术干货分享，北京站精彩继续 提前参与，还能享受更多优惠 识别二维码 查看了解更多 2019.qconbeijing.com  - 高性能，分布式 · 高并发 消息堆积 • Apache顶级项目 info ## TABLE OF CONTENTS 大纲 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 ## 存储文件 ![Image](/uploads/documents/9/6/a/9/96a9be3b5555064ad55c206c1cd53fac/p11_1

## 使用gRPC go实现 基于Topic的高效消息订阅发布模型  姓名：___ 张凯 中国电子云  gRPC go 介绍 01 gRPC 四种通信模式及落地场景 02 根据 proto 生成 go 桩代码 03 订阅者动态注册 04 发布者消息推送 05 现场案例演示 06 ## gRPC go介绍 ## gRPC是什么？ 1. 什么是gRPC？gRPC go与gRPC的关系是什么？ 2. gRPC与HTTP相比优势是什么？能否使用HTTP平替gRPC的实现？ 输 -- gRPC是一种框架，gRPC go是gRPC的一种实现；同理有其他各语言的实现。 2. gRPC与HTTP相比优势是什么？能否使用HTTP平替gRPC的实现？ -- HTTP在Web服务、浏览器兼容性、简单易用性等方面仍有不可替代的优势 -- http1.x + websocket可以做到长连接流式传输 -- gRPC允许在一次连接中连续发送多个请求或响应，适用于实时数据流、大数据传输、视频传输

## 电商消息系统架构演进 李历岷 阿里巴巴-淘宝高级技术专家 ## SPEAKER INTRODUCE ## 李历岷 淘宝高级技术专家 ## - 当前： 电商消息核心系统架构以及Team Leader ## 阿里： • 主导电商内容平台架构以及构建招选搭投一体化内容导购 - 阿里巴巴第四届中间件ServiceMesh性能挑战赛冠军 - 基于Facebook–GraphQL规范打造数据聚合产品TQL TABLE OF CONTENTS 大纲 电商消息业务场景 电商消息系统架构 电商消息核心技术和挑战 电商消息全链路稳定性保障 电商消息系统未来展望 • Q&A  ## 电商消息业务场景 场景：社交互动、生意沟通、交易提醒、优惠通知、品牌资讯 目标：打造新零售业务商业连接，帮助消费者进行消费决策 ## 活动 9月会员日来袭 U 童装上新，网红爆款玩具等你来玩 >>> 95公益周，以你之名助力公益！ ## 电商消息业务场景 社交互动 淘友 电商 客服交易 亲情关系 线下导购 游戏互动 专属客服 轻店铺 业务特点 业务形态 · 多端同步 · 多样场景 业务定制 临时沟通 ##

## 万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉  ## 自我介绍 ●花名：誓嘉 ●真名：王小瑞 ●vintagewang@apache.org ●@阿里巴巴-中间件 ●Apache RocketMQ 创始人， PPMC Member, Committer ●Open-Messaging创始人 ## ☐ 扫一扫上面的二维码图案，加我微信 01/ 阿里消息中间件的演变历史 02 双11万亿级数据洪峰的挑战 03/ Apache RocketMQ 未来展望 ## 阿里消息中间件演变历史 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v3.0 RocketMQ开源 Apache 五彩石项目 交易核心消息流转 MetaQ v1.0 顺序消息 海量堆积能力 2016 Aliware MQ v1.0 Notify v3.0 ## 阿里消息中间件现状  ## CONTENTS 01 阿里消息中间件的演变历史

## 万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉  ## 自我介绍 ●花名：誓嘉 ●真名：王小瑞 ●vintagewang@apache.org ●@阿里巴巴-中间件 ●Apache RocketMQ 创始人， PPMC Member, Committer ●Open-Messaging创始人 ## ☐ 扫一扫上面的二维码图案，加我微信 01/ 阿里消息中间件的演变历史 02 双11万亿级数据洪峰的挑战 03/ Apache RocketMQ 未来展望 ## 阿里消息中间件演变历史 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v3.0 RocketMQ开源 Apache 五彩石项目 交易核心消息流转 MetaQ v1.0 顺序消息 海量堆积能力 2016 Aliware MQ v1.0 Notify v3.0 ## 阿里消息中间件现状  ## CONTENTS 01 阿里消息中间件的演变历史

...5 二：Producer 如何发送消息.....6 2.1 producer 发送普通消息.....7 2.2 顺序消息发送.....7 2.3 分布式事物消息.....9 三：Broker 落地消息.....11 2.1 普通消息落地.....11 2.2 分布式事物消息落地.....12 第二章 consumer 三：长轮询.....20 四：push 消息—并发消费消息.....24 五：push 消费-顺序消费消息.....26 六：pull 消息消费.....28 七：shutdown.....28 第三章：broker.....29 一：brker 的启动.....29 二：消息存储.....32 三：load&recover ...39 4.3 HA 异步复制.....40 五：刷盘策略.....41 六：索引服务.....42 6.1 索引结构.....42 6.2：索引服务 IndexService 线程.....43 6.3：构建索引服务.....43 6.4：Broker 与 client（consumer，producer）之间的心跳，..

## Apache Pulsar 云原生时代的消息平台 Stream Native 翟佳 ## 自我介绍 • 开源项目爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科大 -> 中科院计算所 ![Image](/uploads/documents/7/d/a/4/ Apache Pulsar 要解决的问题 ## • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 rebalance ## · 减少文件系统依赖 • 性能难保障：持久化（fsync）、一致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他生产者和消费者

## RAINBOND服务日志管理 好雨交付工程师-郭逊 ## 大纲 1. Rainbond自身的日志管理机制 2. 对接 Elasticsearch 3. 演示示例 2019-07-31T03:29:22.251Z INFO [monitoring] log/log.go:124 Non-zero metrics in the last 30s {"monitoring": /4/b/d/24bd0bda2e50810fa43321ee941db5bf/p4_1.jpg) # 1.RAINBOND自身日志管理机制 ### 1.1 日志界面 首页 / 我的应用 / 服务日志对接Es示例 / NGINX NGINX 访问 关闭 管理容器 其他操作 最近1000条日志 2019-07-30T15:59:22.251Z INFO [monitoring] log/log RAINBOND自身日志管理机制 1.3 日志来源，以及相关原理 node服务功能与角色 NODE服务会监视DOCKERD进程，观察其创建与销毁容器。获取文件系统中容器日志的路径，监视来自容器标准输出和标准错误输出，并以UDP协议分发到RBD-EVENTLOG组件。 rbd-eventlog组件功能与角色 接收来自NODE服务的推送，用WEBSOCKET协议将日志内容推送到用户所操作的应用控制台。