用于描述导入数据。组成如下： 指定列分隔符，默认为 用于指定文件列和表中列的映射关系，以及各种列转换等。关于这部分详细介绍，可以参阅 [列的映射，转换与过滤] 文档。 过滤原始数据。关于这部分详细介绍，可以参阅 [列的映射，转换与过滤] 文档。 根据条件对导入的数据进行过滤。关于这部分详细介绍，可以参阅 [列的映射，转换与过滤] 文档。 指定导入目的表的哪些 partition 中。如果不指定，则会自动导入到对应的 OFFSET 格式混用。 4. 指定自定义kafka参数。功能等同于kafka shell中 "--property" 参数。 当参数的 value 为一个文件时，需要在 value 前加上关键词："FILE:"。 关于如何创建文件，请参阅 CREATE FILE 命令文档。 更多支持的自定义参数，请参阅 librdkafka 的官方 CONFIGURATION 文档中，client 端的配置项。如： == "101,0,0,200" "101,0,0,200" ));; Baidu 百度智能云文档 SQL手册 19 4. 导入 Json 格式数据。默认使用 Json 中的字段名作为列名映射。指定导入 0,1,2 三个分区，起始 offset 都为 0 5. 导入 Json 数据，并通过 Jsonpaths 抽取字段，并指定 Json 文档根节点 CREATE CREATE ROUTINE

3 是不支持对列名进行修改的，如果直接使用指标/标签名称作为列名，则无法满 足上述标签或指标更名的需求。而对于上下架标签的需求，如果直接以 drop/add column 的方式实现，则会涉及数据文件的更改，该操作耗时耗力，甚至会影响线上查询的性能。 那么，有没有更轻量级的方式来满足需求呢？接下来将为大家分享相关解决方案及收益：  为了实现少量标签、指标名称修改，我们用 MySQL 表存储相应的元数据，包括名 价值的标签进入下架流程。下架指的是对元信息进行状态标注，在下架标签重新上 架之前，不会继续导入其数据，元信息中数据可用时间也不会发生变化。  对于实时新增标签/指标，我们基于名称 ID 的映射在 Doris 表中预先创建适量 ID 列，当标签/指标完成元信息录入后，直接将预留的 ID 分配给新录入的标签/指标， 避免在查询高峰期因新增标签/指标所引起的 Schema Change 开销对集群产生的 影响。经测试，用户在元信息录入后 10 分钟内就可以使用相应的数据。 值得关注的是，在社区近期发布的 1.2.0 版本中，增加了 Light Schema Change 功能， 对 于增减列的操作不需要修改数据文件，只需要修改 FE 中的元数据，从而可以实现毫秒级的 Schame Change 操作。同时开启 Light Schema Change 功能的数据表也可以支持列名的 修改，这与我们的需求十分匹配，后续我们也会及时升级到最新版本。

任何节点都可线性扩展 01 Doris 简介 导入的问题 02 典型应用场景——OLAP分析 数据源 数据应用 数据存储 对象存储BOS OLTP WEB端日志 移动端日志 本地文件 数据分析 业务应用 实时大屏 多维报表 自助查询 用户画像 Doris 02 导入的问题 Vn Vn Vn Vn V1-Vn-1 02 导入的问题 • 部分数据丢失，产生脏数据 导入方式 同步/异步 场景 接口 Broker Load 异步 HDFS、BOS对象存储 MySQL Routine Load 异步 Kafka MySQL Stream load 同步 本地文件，数据流 HTTP Insert into 同步 命令行 MySQL Spark Load 异步 Spark MySQL 最佳实践 04 使用案例 • 根据数据源所在位置选择导入方式。 选择合适的导入方式