· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3005 13.10.10Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3008 13.10.11TiDB replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3039 13.10.10Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3042 13.10.11TiDB replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3070 13.10.10Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3073 13.10.11TiDB replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3095 13.10.10Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3098 13.10.11TiDB replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3102 13.10.10Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3105 13.10.11TiDB replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2941 13.10.10Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2944 13.10.11TiDB replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2953 13.10.10Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2956 13.10.11TiDB replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning

messages earlier than the Resolved TS have already been sent to the topics and partitions. The Kafka consumer can use the Resolved TS to sort the messages received. • The Kafka sink sometimes sends duplicated be sent to different partitions and the consumer progress of different consumers might be different, which might cause data inconsistency. Therefore, the consumer needs to sort the data from multiple partitions large-message-handle-compression is enabled, the message received by the consumer is encoded using a specific compression protocol, and the consumer application needs to use the specified compression protocol to

replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning to Kafka. Next, you can use Flink to consume Kafka data. Alternatively, you can develop a Kafka consumer client yourself for specific service scenarios. 7.2.2.4 (Optional) Step 4. Configure Flink to consume

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2885 13.10.10Binlog Consumer Client User Guide · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2888 13.10.11TiDB replicates data from TiDB to Kafka. 3. Write data to TiDB using go-tpc. 4. Observe data on Kafka console consumer and check that the data is replicated to a specified Kafka topic. 5. (Optional) Configure the Flink data to the Kafka topic. Run kafka- �→ console-consumer.sh. You can see that data is successfully written to the Kafka topic. ./bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 -- �→ from-beginning