Vasiliki (Vasia) Kalavri
 vkalavri@bu.edu Spring 2020 4/02: Elasticity policies and state migration ??? Vasiliki Kalavri | Boston University 2020 Streaming applications are long-running • Workload requires state migration with correctness guarantees. ??? Vasiliki Kalavri | Boston University 2020 State migration 29 ??? Vasiliki Kalavri | Boston University 2020 State migration strategies • Stop-and-restart during migration if the state is large • Progressive • move state to be migrated in smaller pieces, e.g. key-by-key • can be used to interleave state transfer with processing • migration duration

Request Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 8.6 Data Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 8.6.1 Background Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Data Migration Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 iii Stock Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.2.4 Data Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 Introduction . . .

Request Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 8.6 Data Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 8.6.1 Background Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Data Migration Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 iii Stock Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 9.2.4 Data Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390 Introduction . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 Stream migration on a resharding operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 Migration between implementations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388 16 Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Migration states & transitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Who runs the migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 Stream migration on a resharding operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 Stream migration on a resharding operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 Migration between implementations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

COMPUTE NODES 数据迁移 本章节将对数据迁移功能的语法进行详细说明。 SHOW MIGRATION RULE 描述 SHOW MIGRATION RULE 语法用于查询数据迁移规则。### 语法 ShowMigrationRule ::= 'SHOW' 'MIGRATION' 'RULE' 返回值说明 列 说明 read 数据读取配置 write 数据写入配置 stream_channel 2. ShardingSphere-Proxy 292 Apache ShardingSphere document 示例 • 查询数据迁移规则 SHOW MIGRATION RULE; mysql> SHOW MIGRATION RULE; +--------------------------------------------------------------+------------------- row in set (0.01 sec) 保留字 SHOW、MIGRATION、RULE 相关链接 • 保留字 ALTER MIGRATION RULE 描述 ALTER MIGRATION RULE 语法用于修改数据迁移规则。### 语法 AlterMigrationRule ::= 'ALTER' 'MIGRATION' 'RULE' ('(' (readConfiguration

COMPUTE NODES 数据迁移 本章节将对数据迁移功能的语法进行详细说明。 SHOW MIGRATION RULE 描述 SHOW MIGRATION RULE 语法用于查询数据迁移规则。### 语法 ShowMigrationRule ::= 'SHOW' 'MIGRATION' 'RULE' 返回值说明 列 说明 read 数据读取配置 write 数据写入配置 stream_channel 2. ShardingSphere-Proxy 286 Apache ShardingSphere document 示例 • 查询数据迁移规则 SHOW MIGRATION RULE; mysql> SHOW MIGRATION RULE; +--------------------------------------------------------------+------------------- row in set (0.01 sec) 保留字 SHOW、MIGRATION、RULE 相关链接 • 保留字 ALTER MIGRATION RULE 描述 ALTER MIGRATION RULE 语法用于修改数据迁移规则。### 语法 AlterMigrationRule ::= 'ALTER' 'MIGRATION' 'RULE' ('(' (readConfiguration

Request Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.7 Data Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 iii 3.7.1 Background Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 Data Migration Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 Stock Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240 4.2.4 Data Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 Introduction . . .

Request Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.7 Data Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.7.1 Background Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Data Migration Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Stock Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 4.2.4 Data Migration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 Introduction . . .