高金芳-平安科技-PostgreSQL反向代理redis
中国用户大会 高金芳 平安科技(深圳)有限公司 PostgreSQL“反向代理”Redis 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 职务:平安科技数据库技术部数据库架构师 邮箱:gaojinfang498@pingan,.com.cn 个人简介: 高金芳, 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 高性能 稳定性 安全性 轻量级 高可用 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 性能极高,OPS超过100K 支持丰富的数据类型 China 2016 中国用户大会 Redis Security--others Redis丌支持数据加密 Redis丌支持字符转义 Redis通常丌存在Nosql注入 Redis在高版本中还增加了保护模式 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Redis无法做到key隔离0 码力 | 28 页 | 3.61 MB | 1 年前3蚂蚁金服网络代理演进之路
蚂蚁金服网络代理演进之路 肖涵(涵畅) 蚂蚁金服高级技术专家 2019.10.26 Service Mesh Meetup #7 成都站网络代理是什么? 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么? Maglev Ipvs Katran Katran GFE BFE TGW Nginx Apache httpd SOFAMosn Envoy Linkerd网络的挑战网络的挑战 高效接入 访问加速 容量 稳定性 高可用 灵活弹性 安全合规 防攻击蚂蚁金服网络接入十年变迁 2010年前部署商用设备 前世 01 2010 开始网络代理白盒 化,定制业务逻辑,软 硬件一体解决方案 自研 02 2015 年无线通道协议,安 50% 50% • 机房内zone随机路由 • Cookie zone转发 • 蓝绿发布 • 容灾 ØZone内容灾 Ø机房级别 Ø城市级别 • 弹性调度 • 压测 • 灰度蚂蚁金服SSL/TLS实践 合规 性能 安全软硬件一体解决方案 Intel QAT Cavium Nitrox软硬件一体解决方案 SSL握手性能 提升3倍 • 对Spanner实现了异步化改造 •0 码力 | 46 页 | 19.93 MB | 5 月前3MySQL高可用 - 多种方案
MYSQL 高可用方案探究 1 前言........................................................................................................................................... 3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案 .............. 8 2.4.10 高可用方案测试 .............................................................................................. 9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案 ....................... 的启动 .............................................................................. 16 4 Heartbeat 高可用 Mysql 主主同步方案 .............................................................................. 16 40 码力 | 31 页 | 874.28 KB | 1 年前3Curve元数据节点高可用
© XXX Page 1 of 30 Curve元数据节点高可用© XXX Page 2 of 30 1. 需求 2. 技术选型 3. etcd clientv3的concurrency介绍 3.1 etcd clientV3的concurrency模块构成 3.2 Campaign的流程 3.2.1 代码流程说明 3.2.2 举例说明Campagin流程 3.3 Observe的流程 异常情况4:Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点,负责空间分配,集群状态监控,集群节点间的资源均衡等,mds故障可能会导致client端无法写入。 因此,mds需要做高可用。满足多个mds, 但同时只有一个mds节点提供服务,称该提供服务的mds节点为主,等待节点为备;主节点的服务挂掉之后,备节点能启动服务,尽量减小服务中断的时间。 需要解决的问题就是:如何确定主备节点。 家熟知的就是zookeeper和etcd, 考虑当前系统中mds有两个外部依赖模块,一是mysql, 用于存储集群拓扑的相关信息;二是etcd,用于存储文件的元数据信息。而etcd可以用于实现mds高可用,没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制: TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期,到期后key会被0 码力 | 30 页 | 2.42 MB | 5 月前3蚂蚁金服 API Gateway Mesh 思考与实践
蚂蚁金服 API Gateway Mesh 思考与实践 靳文祥(花名:贾岛) 蚂蚁金服 高级技术专家1/21 /01 /02 /03 API Gateway Mesh 的定义 蚂蚁金服 API Gateway Mesh 实践 云原生 API Gateway 的思考2/21 API Gateway Mesh 的定义 /013/21 LB\Ingress API Gateway infrastructure to expose your services as a managed APIs in the form of a decoupled sidecar proxy7/21 蚂蚁金服 API Gateway Mesh 实践 /028/21 APP Mobile Server 单体架构 Logic Logic Logic Logic 支付宝移动网关的前身(2009-2013) APP1 Logic Logic API Gateway APP2 Logic Logic 微服务网关架构(2013-2016) LB spanner 特点: • 微服务网关 • 蚂蚁金服 RPC 协议 • 安全\鉴权\监控 • Netty 异步化 • 私有协议 MMTP 缺点: • API 网关变更风险 • 业务分级隔离需求 • 大促容量规划问题 HTTP/MMTP0 码力 | 22 页 | 1.72 MB | 5 月前3蚂蚁金服ServiceMesh数据平面 SOFAMosn深层揭秘
蚂蚁金服ServiceMesh数据平面 SOFAMosn深层揭秘 奕杉Agenda Ø背景 Ø构架 Ø能力 Ø性能 ØRoadMap背景为什么蚂蚁需要ServiceMesh Ø拥抱微服务,云原生 • SOFA 5规划落地 • 兼容K8S的智能调度体系 Ø运维体系的有力支撑 • LDC • 弹性伸缩 • 蓝绿/容灾/.. Ø金融级网络安全 • 金融级鉴权体系 • 云原生zero trust网络安全趋势 ü尽可能多读,同时减少SetReadDeadline频繁调用,实现见 IOBuffer.ReadOnce ü适度 buffer 写数据,频繁写系统 IO 会造成写效率下降 Ø均衡 ü读写均衡是高吞吐量的保证 ü大量读/写会增加系统时间消耗, runtime 调度成本IO Bad Case 5调度均衡 6 Ø池化:避免 runtime.morestack 连续栈扩容性能损耗 Ø单核:避免G饥饿0 码力 | 44 页 | 4.51 MB | 5 月前3蚂蚁金服Service Mesh渐进式迁移方案
Service Mesh Meetup #4 上海站 蚂蚁金服Service Mesh 渐进式迁移方案 2018.11.25 敖小剑 @ 蚂蚁金服 中间件 龙轼 @UC 基础研发部1 Service Mesh演进路线 1 2 实现平滑迁移的关键 3 DNS寻址方案的演进 4 5 总结 DNS寻址方案的后续规划ü 对未来长期目标的认可 • Service Mesh(带控制平面,如Istio) 微服务 + Service Mesh + Kubernetes 是目标 • 但是如何从现有体系向目标迈进,必须给出可行的实践指导 ü Roadmap • 预计2019年初 蚂蚁金服主站落地:目标与现状 百川归海蚂蚁金服主站落地方案的实施原则 Target 长期 目标 Step By Step 分步 进行 Resiliency 操作 弹性 符合远期规划 • 不走弯路,不浪费投资 • 部署在K8s上 Service Mesh (Sidecar模式) 4 4 4 部署在K8s上 Service Mesh (Istio模式) 部署在 非k8s上 不是Service Mesh形态蚂蚁金服选择的演进路线 部署在 非k8s上 不是Service Mesh形态 部署在K8s上 非SM 部署在 非k8s上 Service Mesh (Sidecar模式) 部署在K8s上 Service0 码力 | 40 页 | 11.13 MB | 5 月前3Service Mesh 在蚂蚁金服生产级安全实践
Service Mesh 在蚂蚁金服生产级安全实践 彭泽文 蚂蚁金服高级开发工程师 2019.8.11 Service Mesh Meetup #6 广州站基于 Secret Discovery Service Sidecar 的证书管理方案 使用可信身份服务构建敏感数据下发通道 Service Mesh Sidecar 的 TLS 生产级落地实践 分享内容基于 Secret Discovery Certificate rotations no longer require Envoy to restart.基于 Secret Discovery Service Sidecar 的证书管理方案 蚂蚁金服证书管理方案 基于 Citadel 对接内部密钥管理系统 使用 AppLocalToken 替换 Service Account 支持多种Sidecar 通过Citadel Agent 生产级落地实践Service Mesh Sidecar 的TLS 生产级落地实践 灰度控制 新功能总是离不开灰度过程,社区已有的Policy CRD 实现 Namespace + Service 的灰度能力不能满足 蚂蚁金服生产落地的要求,需要具备单机灰度、回滚能力。 借鉴社区 SourceLabel 和 Sidecar CRD 的设计思路,创造性提出具备“正交”组合能力的ScopeConfig 方 案 ScopeConfig0 码力 | 19 页 | 808.60 KB | 5 月前3高性能高可用机票实时搜索系统
规则库写⼊入量量⼤大,集群峰值达20K TPS • 要求同步延迟很低,不不超过60s • 保持顺序⼀一致性,如果先删后插变成 先插后删,数据会不不⼀一致 • 数据最终⼀一致 • 系统⾼高可⽤用 报价引擎 — 组织索引 北北 京 | 上 海海 成 都 | 杭 州 ⼴广 州 | 郑 州 南 宁 | 天 津 … 索引库 DB Sync 规则库 供应商 A 供应商 B Canal 解析 拆分 分配 ⼊入队 CAN-NNG … … … PEK-SHA DataSync Diff ZK 按 供 应 商 分 表 按 航 线 分 表 报价引擎 — 同步系统⾼高可⽤用 DB主 DB备 Canal 主 Canal 备 DataSync DataSync DataSync DataSync DB主 DB备 DB备 DB主 ZK ZK ⼊入库 cache cache cache PriceMerger <出发、到达、⽇日期、供应商列列表> 报价引擎 — 负载均衡 • ⼀一致性哈希 • 缓存命中率 • 热点航线均衡 • 系统⾼高可⽤用 Router PEK-SHA2017-10-10 Search PEK-SHA 2017-10-10 Search PEK-SHA 0 码力 | 26 页 | 1.94 MB | 1 年前3如何用 MySQL 构建全方位高可用应用
MySQL協助您搭建全方位的高可用應用 杜修文 甲骨文全球事業部 安全港声明 以下内容旨在阐明产品的整体方向。该内容仅供参考,不可纳入任何合同。该信息 不承诺提供任何资料、代码或功能,并且不应该作为制定购买决策的依据。本文档 所述的 Oracle 产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 4/16/2017 版权所有 2015,Oracle 和/或其附属公司。保留所有权利。 群集或 Oracle VM Group Replication MySQL Cluster MySQL 高可用性解决方案 4/16/2017 9 9 . 9 9 9 % 版权所有 2015,Oracle 和/或其附属公司。保留所有权利。 5 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 版权所有 2015,Oracle 和/或其附属公司。保留所有权利。 6 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015,Oracle 和/或其附属公司。保留所有权利。 7 • MySQL Replication • Shared Storage • Group Replication • MySQL0 码力 | 40 页 | 2.19 MB | 1 年前3
共 978 条
- 1
- 2
- 3
- 4
- 5
- 6
- 98