## 兼容龙蜥的云原生大模型数据计算系统 ## --πDataCS简介 ## 吴疆 拓数派产品市场总监  ## 吴疆 拓数派(Openpie)产品市场总监 深耕云计算和数据库行业十余年 毕业于清华大学计算机系，先后在IBM，EM C，Pivotal，VMWare参与多个云平台和数据库项目 01 拓数派简介 02 πDataCS简介 03 πDataCS与龙晰 ### 01. 拓数派简介 # 全球数据计算系统引领者 杭州拓数派科技发展有限公司（又称"OpenPie"）是立足于国内,基础数据计算领域的高科技创新机构。作为国内云上数据库和数据计算领域的引领者，拓数派以“Data Computing for for New Discoveries”「数据计算，只为新发现」为使命，致力于在数字原生时代,运用突破性计算理论、独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准，驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System

## 大模型时代下向量数据库的设计与应用 msup $ ^{®} $ | ARCHNOTES 架構 ## 个人简介  邱培峰 拓数派向量数据库负责人 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型与大数 据领域。拥有多年数据库内核研发和配套解决方案架构经验，在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发，并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心开发和性能优化等实践经验。 ## 拓数派：大模型数据计算系统先行者 - 拓数派（OpenPie）是立足于国内的基础数据计算领域高科技创新机构； 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团队； - 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进行创新，全面拥抱AI技术趋势。 # 虚拟数仓 拓数派/数仓虚拟化 PieCloudDB产品技术 数企虚拟化由拓数派（杭州拓数派科技发展有限公司，又称“OpenPie”）于2023年3月正式提出。 数仓虚拟化 $ ^{[1]} $ 可将物理数仓整合到云原生数据计算平台

## Python在金融领域的应用与创新 华能贵诚信托有限公司 金融科技实验室 ## 目录 1. Python舆情监控系统 2. 华能信托及个人简介 3. 舆情监控详细代码分析 4. 华小智金融科技实验室 ## CHAPTER 1 ## Python舆情监控系统 ### 舆情监控系统 - 视频简介 HUMANS ARE CREATIVE BEINGS. IF IT IS NOT ments/1/5/c/e/15ceb23f7f0cabc470dad18e6c5a9e49/p5_1.jpg) ## 人才招聘的未来走向 联合利华率先在招聘中采用AI视频面试 高盛、小摩、大摩、黑石、贝莱德、贝恩 等纷纷采用video interview做为新的首轮 视频面试方式 ![Image](/uploads/documents/1/5/c/e/15ceb23f7f0cabc Future 行业第三 年收入达32亿元（312人） 全国信托行业综合排名第三名 2018 王宇韬 华能信托金融科技实验室发起人 CFA、FRM、AQF 1 上海交通大学本科、宾夕法尼亚大学硕士 2 华能信托华小智金融科技小组组长 3《Python金融大数据挖掘与分析全流程详解》作者 ![Image](/uploads/documents/1/5/c/e/15ceb23f7f0

## Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪洋，华为云 Volcano 社区核心贡献者 ## 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 ## 云原生大数据平台 传统服务 大数据 人工智能  ## 大数据、AI等批量计算场景云原生化面临的挑战 ## 作业管理缺失 Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 ## 调度策略局限 不支持CPU/IO topology based scheduling 领域框架支持不足 1:1的operator部署运维复杂 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 - 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 ## V olcano 架构 [M] $ ^{s} $

## 全民双十一 基于容器服务的大促备战  李斌 阿里云容器服务  ## 我是谁 安全加固离线计算开发运维一体化极致性能故障演练大数据边缘计算全链路压测全站上云高可用人工智能 [Image](/uploads/documents/4/7/3/a/473a77ef3e79496ce57ea869b48b9312/p9_11.jpg) 云日志 限流，熔断， 降级，系统保护 日志类数据采集、 消费、投递及查询 分析功能 挂卷 ![Image](/uploads/documents/4/7/3/a/473a77ef3e79496ce57ea869b48b9312/p9_12

## 金融级云原生 PaaS 探索与实践 王成昌（晙曦）蚂蚁金服技术专家 ## 目录 contents 一、业务背景 二、多集群管控 三、发布运维体系 ## 一、 业务背景 ## 业务架构 演进 容量 应用|数据库|机房 容灾 机房|地域 

李涛，APUS董事长兼CEO 2023年12月发布 设计：张琪 ## LLM 技术报告 大语言模型（LLM）技术作为人工智能领域的一项重要创新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门设计来理解、生成和回应自然语言。这些模型通过分析大量的文本数据来学习语言的结构和用法，从而能够执行各种语言相关任务。以 GPT 系列为代表，LLM 以其在自然语言处 ## LLM Tech Map ## 大模型 ➢ 备案上线的中国大模型 知名大模型 知名大模型应用 LLMOps 大模型聚合平台 ## 工具和平台 ➢ 开发工具 插件、IDE、终端代码生成工具 ## AI 编程 ## 算力 ## 基础设施 向量数据库 数据库向量支持 ➢ 大模型框架、微调 (Fine Tuning) ➢ 大模型训练平台与工具 ## LLM Agent Agent ## 编程语言 ## LLM Tech Map 大模型技术图谱  ## 基础设施 AquilaDB Annoy marqo MongoDB Faiss Weaviate Qdrant ScanN ROCKSET

## 数据迁移 ## 存量 MySQL 迁移到 TiDB 服务 UDTS 产品支持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 TiDB 切换至 TiDB 服务。 ## 为 TiDB 服务建立 MySQL 从库 UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 TiDB 从 库。

MODEL ## $ ^{*} $ ## 01 业务模型 BUSINESS MODEL ## 业务模型 BUSINESS MODEL 服务/方案 金融云服务 解决方案 用户系统 聚合支付 乐享理财 帮你贷 八方数据 资金管理 供应链 分期支付 扫码分销 基础支付1 基础支付2 账务 现金罗盘 其他 运营后台 SDK支付 扫码支付 单笔代收 单笔代付 商户后台 企业网银个人网银 官网 基础支撑 数据分析 实时监控 ## 业务属性 BUSINESS ATTRIBUTES 聚合的复杂性、第三方依赖性 The complexity of aggregation, third-party dependency ## 安全性、中间账户 Financial system 金融系统 Security, intermediate account Oracle 数据库双机 ### 业务2.0痛点 BUSINESS 2.0 PAIN POINTS  业务野蛮发展 交易量高速增加 m 인이 交易响应速度过慢 并发请求增加 ￥ 三 数据库单表 数据量剧增 ##

## 大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 ## 简介 ## • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 ## 概要 - 存在问题 - 分析问题 - 解决问题 - Pika vs redis Pika 是DBA 和 基础架构团队一起设计开发的大容量redis的解决方案 - 完全兼容redis 协议, 用户不需要修改任何代码进行迁移 ## Pika User • Redis实例数量：6000+个 • 日访问量：5000+亿 • Pika数据数量：1000+个 • 日访问量：1000+亿 • 覆盖率：80%以上业务线 • 单份数据体积：6.8T ## UserList ![I Redis 在大容量场景下的问题 ## Redis 问题 - 恢复时间长 - 一主多从, 主从切换代价大 - 缓冲区写满问题 - 成本问题 ## Redis 问题 ## • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb ## Redis 问题 ## • 一主多从, 主从切换代价大 ## – 主库挂掉后升级从库, 所有的从库全部重传数据 ## Redis