Datahub MaxCompute 配套的流式数据接入服务，粗略地类似 kafka，能够通过简单配置归档 topic 数据到 MaxCompute 表 用户接口 CLT/SDK 统一的命令行工具和 JAVA/PYTHON SDK 开发&诊断 Dataworks/Studio/Logview 配套的数据同步、作业开发、工作流编排调度、作业运维 及诊断工具。开源社区常见的 Sqoop、Kettle、Ozzie queue，如同客户的 hive 集群上没有 default queue，就需要客户指定队列名称，方法如下： ① 使用 hadoop queue -showacls | grep SUBMIT 命令查看 queue name ② 修改 odps-data-carrier/extra-settings.ini，添加 mapreduce.job.queuename=root.hadoop py 生成 odps 表和分区 执行：python3 odps-data-carrier/bin/odps_ddl_runner.py --input processed 可以看到，这个命令自动生成了对应的表和 partition，之后我们用 odpscmd 工具 进行验证： 可以看到 MaxCompute 中的表已经建好了，之后我们在看下分区： Alibaba Cloud

通过chunkserver定期上报copyset的copyset的epoch， 检测chunkserver的copyset与mds差异，同 步两者的copyset信息 • 支持配置变更功能，在心跳回复报文中下发mds发起的配置变更命令，并在后续心跳中获取配置 变更进度。HEARTBEAT MDS端：mds 端的心跳主要由三个部分组成： • TopoUpdater: 根据 chunkserver 上报的 copyset 信息更新拓扑