Postgres Conference China 2016 中国用户大会 Scaling with PostgreSQL 9.6 and Postgres-XL Mason Sharp mason.sharp@gmail.com Huawei Postgres Conference China 2016 中国用户大会 whoami • Engineer at Huawei (USA Postgres-XC • Postgres-XL Postgres Conference China 2016 中国用户大会 Agenda • PostgreSQL 9.6 Scaling Features • Scaling Solutions • Use Cases • Postgres-XL Postgres Conference China 2016 中国用户大会 BTW- PGConf

Scaling a Multi-Tenant k8s Cluster in a Telco Pablo Moncada October 28, 2020 About MasMovil group ● 4th telecom company in Spain ● Provides voice and broadband services to +12M customers ● Several

reserved. March 2017. 1 ©Rancher Labs 2017. All rights Reserved. 2 DEPLOYING AND SCALING KUBERNETES WITH RANCHER Contents Introduction ............................................ ........................................................... 6 1.3.5 Container Management and Scaling ......................................................................... 6 1.3.6 Service Registry ........................32 ©Rancher Labs 2017. All rights Reserved. 3 DEPLOYING AND SCALING KUBERNETES WITH RANCHER 3.6 Secrets .........................................................

ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 ShardingSphere‐Scaling (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3.1 Rule Configuration . 56 Unsupported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.7 Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 4.7.1 4.7.5 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Scaling Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Inventory Data

58 Unsupported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 4.7 Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 4.7.1 4.7.5 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 Scaling Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 Inventory Data split into different log files . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 5.2.5 Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217 Introduction

ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 ShardingSphere‐Scaling (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.1 1. Rule Configuration Agent Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 iii 4.6 Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.6.1 4.6.5 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Scaling Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 Inventory Data

and system performance • Identify bottleneck operators, straggler workers, skew • Enumerate scaling actions, predict their effects, and decide which and when to apply • Allocate new resources, spawn ? Vasiliki Kalavri | Boston University 2020 Automatic Scaling Control 4 ??? Vasiliki Kalavri | Boston University 2020 The automatic scaling problem 5 Given a logical dataflow with sources S1, S2 Boston University 2020 Automatic scaling overview 6 scaling controller detect symptoms decide whether to scale decide how much to scale metrics policy scaling action ??? Vasiliki Kalavri |

ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.3 ShardingSphere‐Scaling(Alpha) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.1 1. Rule Configuration Agent Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 3.5 Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 3.5.1 3.5.6 Core Concept . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Scaling Job . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Data Node

. . 199 拆分为不同的日志文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 5.2.5 Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 简介 . . . . 用的时间窗口，甚 至做到用户完全无感知，是弹性伸缩的另一个挑战； 最后，弹性伸缩不应该对现有的数据造成影响，如何保证数据的正确性，是弹性伸缩的第三个挑战。 ShardingSphere‐Scaling 是一个提供给用户的通用数据接入迁移及弹性伸缩的解决方案。 4.7.3 目标 支持自定义分片算法，减少数据伸缩及迁移时的业务影响，提供一站式的通用弹性伸缩解决方案，是 Apache ShardingSphere ShardingSphere 弹性伸缩的主要设计目标。 4.7. 弹性伸缩 55 Apache ShardingSphere document, v5.1.2 4.7.4 状态 ShardingSphere‐Scaling 从 4.1.0 版本开始向用户提供。当前处于 alpha 开发阶段。 源 码：https://github.com/apache/shardingsphere/tree/master/shardingsphere‐

ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 ShardingSphere‐Scaling (Experimental) . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3.1 规则配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 5.4 ShardingSphere‐Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 5.4.1 简介 . . . . . . mysql -u${proxy_username} -p${proxy_password} -h${proxy_host} -P${proxy_port} 2.3 ShardingSphere-Scaling (Experimental) 2.3.1 规则配置 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/server.yaml。 %SHARDINGSPHERE_PROXY_HOME%