## Python在量化投资领域的应用 ## 以澎博真格量化平台为例 刘欣 ## 目录 >> 关于澎博财经 >> Python量化平台应对问题 >> Python量化平台愿景 ## 1 关于澎博财经 中国主要的金融衍生品软件及信息提供商之一。澎博财经设计研发了“博易大师”、“闪电手”、“汇点期权”、“掌上财富”、“闪电王”、“博易鑫管家”、“金字塔”等知名产品，涵盖期货、期权、股票、现货等多领域投资市场，提供集行情、交易、资讯、策略、互动于一体的产业链式服务。 ![Image](/uploads/documents/c/8/e/b/c8eb9043c7b635da4bafc51c4c907686/p4_2 管家持续为高端用户提供专业服务而在衍生品创新品种不断推出的今天，汇点期权推出股票期权、股指期货、国债期货等品种的系统解决方案。 |项目|期初|证券市场|期货市场|其他商品|汇兑|汇兑|套|商品|投资工具|交易（少数股东）|\-|\-|\-|\-| |---|---|---|---|---|---|---|---|---|---|---|---|---|---|---| |期权型报价|个税期权行

MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog

…… 12 2.6 TiDB 社区版与企业版差异 …… 13 第三章 TiDB 生态工具 3.1 数据迁移 …… 16 数据迁入 - TiDB Data Migration 16 增量数据迁出 - TiCDC 17 数据导入 - TiDB Lightning 18 数据导出 - Dumpling 18 3.2 备份和恢复 - Backup & Restore 18 法的 HTAP 数据库》 计算机软件著作权登记证书：分布式数据库 TiDB 企业版软件、TiFlash 列式存储引擎软件 ### 1.3 发展历程 2015 年 4 月 获得经纬中国领投的天使轮投资 2015 年 9 月 TiDB 在 GitHub 上开源 2015 年 12 月 TiDB Alpha 版本发布， 成为全球第一个开源的 Google F1 实现 2016 年 4 月 中国数据库技术年度最佳创新产品 ## PingCAP 公司荣誉 2017 中国最具投资价值 TOP 50 2017 中国年度创新成长企业 100 强 2017 年度中国企业服务产业最佳投资案例 TOP10 2018 中国大数据准独角兽榜 2018 企业服务产业独角兽榜·数据服务 2019 中国最具投资价值企业风云榜 50 强 2019 中国数据库技术年度评选年度创新企业 2019 全球企服科技创新

## 为分布式协同机器学习服务 ✓ 降低构建与部署成本 ✓ 提升模型性能 ✓ 保护数据隐私 ## 基础框架 ✓ 数据集管理 ✓ 模型管理 ## 训练推理框架 ✓ 协同推理 ✓ 增量学习 ✓ 联邦学习 ✓ 终身学习 ## Sedna ## 兼容性 ✓ 主流AI框架 ✓ 模块算法 ✓ 可扩展算法接口 ## 边云协同AI框架 Sedna架构  ③ APP运行，识别难例，上传到云上标注服务中 ① 业务APP开发者：开发时使用边云AI Lib库，集成边云协同增量学习功能 ② 部署业务APP，启动增量学习 ##

等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+1 方式更新，时效性差。 方案评估 ## 优点 1、仅依赖 Spark+Delta，架构简洁。 2、无在线服务。维护和运行成本低。 2、列存存储，分析速度快。 3、方便上S3/OSS，超高性价比。 ## 缺点 1、增量和全量表割裂，时效性不足。 2、设计和维护额外的Change Set表。 3、计算引擎并非原生支持CDC。 4、不支持实时Upsert。 FLINK FORWARD #ASIA 2020 ## Downstream consume incremental changes 3、统一的数据湖存储，多样化的计算模型。 4、读取合并后的历史数据可充分利用列存加速。 5、云原生支持。 6、支持增量拉取。 7、架构足够简洁，无在线服务节点。 FLINK FORWARD #ASIA 2020 ## #3 如何实时写入读取? ## 批量更新场景 VS CDC写入场景 |对比项|批量更新场景|CDC写入场景|