## 数据迁移 ## 存量 MySQL 迁移到 TiDB 服务 UDTS 产品支持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, MySQL 从库 UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog

## 猿辅导公司的 ## Swift 迁移之路 唐巧 ## 公司简介 • K12 领域的独角兽公司。 - 拥有 2 亿用户，月活几千万。 - 互联网女皇报告中的在人工智能领域崛起的中国公司。 Stanford Question Answering Dataset (Ongoing) 1) Google + Carnegie Mellon (USA)  ## 大纲 • 猿辅导 App 的 Swift 迁移之路 • 猿辅导老师端 App 的 Swift 迁移之路 - 小猿搜题 App 的 Swift 迁移之路 |Date|Version| |---|---| |2014-09-09|Swift 1.0| |2014-10-22|Swift 1.1| |2016-09-13|Swift 3.0| |2017-09-19|Swift 4.0| |2018-03-29|Swift 4.1| |2018-07-05|Swift 4.2| ## 猿辅导的 Swift 迁移之路 ## 决策回顾 • 背景 • 时间：2016 年 6 月 commit e8529c341bbfe6ff22af79b787f16b438b10be02 Author: huangling

# Hadoop 迁移到阿里云 MaxCompute # 技术方案 (V2.8.5) 编写人：MaxCompute 产品团队 日期：2019.05 ## 目录 1 概要 ..... 6 2 阿里云大数据与开源生态对比 ..... 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ..... 7 2.1.1 主流大数据体系架构 ..... 7 2.1.2 开源大数据组件架构 2.2 MaxCompute 产品特性 ..... 11 3 MaxCompute 迁移场景分析 ..... 15 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 ..... 15 3.2 不同的网络环境及部署形态迁移 ..... 17 4 Hadoop 到 MaxCompute 迁移工具介绍 ..... 17 4.1 MMA (MaxCompute Migration 18 4.2.1 迁移评估分析 ..... 18 4.2.2 数据迁移自动化 ..... 18 4.2.3 分析任务兼容性分析及转换 ..... 19 4.2.4 数据集成及工作流作业迁移.....19 5 迁移整体方案及流程.....19 5.1 阶段 1：调研评估&迁移方案.....20 5.2 阶段 2：试点/全面业务迁移.....20

SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar.Com 聪明你的旅行 ___ 搜索量 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算，填充好 • 一个巨大的哈希表 • 响应所有渠道价格变动进行计算 - 快 · 0 变价 ## 设计思路 按需计算 消息驱动 分布式 CAP BASE 理论 异步 无状态 空间换时间 • 缩短对象驻留内存时间，减少gc次数，优化单机吞吐 • 数据交换采用protobuf + gzip处理 - jit、预热 ## 回顾 • 水平分层，纵向分渠道，良好的扩展性 - 实时计算 + 阶梯式缓存，成本与报价新鲜度的权衡 · 闭环系统 · 索引库数据同步 • 本地缓存的设计，更新策略 • 缩减对象内存 0 ·一致性哈希负载均衡 ## 心得 • 不同的业务场景，不同的特征

9d/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 海尔实时计算平台技术选型与实践 海尔电器 - 肖云 主办方 Geekbang. InfoQ 极客邦科技 ## 促进软件开发领域知识与创新的传播  ## 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 ## 背景 - 海尔大数据总体规划 数据应用 数据可视化+Java Olap Report 精准化 ![Image](/u 物理表 财务 微商 物流 车小微 数据市场 应用市场 数据服务 数据开放 物流 库存 营销 订单 实时计算 库存 用户行为 关键业务数据（实时） 跨境电商 RRS 区域运营 服务网 元数据管理 数据质量 据 管 数据安全 ## 实时计算平台框架 数据产品1 数据产品2 数据产品N 存储服务 ![Image](/uploads/document

## Service Mesh Meetup #4 上海站 ## 蚂蚁金服Service Mesh 渐进式迁移方案 2018.11.25 敖小剑 @ 蚂蚁金服 中间件 龙轼 @UC 基础研发部 ## 1 Service Mesh演进路线 2 实现平滑迁移的关键 3 DNS寻址方案的演进 4 DNS寻址方案的后续规划 总结 ## 蚂蚁金服主站落地：目标与现状 ![Ima 现实中有很多挑战 • 还有很多应用没有实现微服务化 • 还有很多应用没有运行在kubernetes之上 Istio目前还不够稳定，也无法原生支持我们的规模 现有系统中的众多应用不可能一夜之间全部迁移 最重要的：平滑迁移 • 微服务 + Service Mesh + Kubernetes 是目标 但是如何从现有体系向目标迈进，必须给出可行的实践指导 ✓ Roadmap 预计2019年初 ## 蚂蚁金服主站落地方案的实施原则 进）非常自然 • 容易落地 快速达成短期目标 ## ✓ 缺点是再往后走 • 由于没有k8s的底层支持，就不得不做大量工作 • 尤其istio的非k8s支持，工作量很大 而这些投入，在最终迁移到k8s时，又被废弃 ## 结论： • 不符合蚂蚁的远期规划（k8s是我们的既定目标） 会造成投资浪费（k8s铺开在即） 部署在K8s上 Service Mesh (Istio模式) !

## Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC CDC 数据 ↓ ## MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便 Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3

## 使用 TiDB 进行实时数据分析 ## 马晓宇@PingCAP ## 极客邦科技 会议推荐2019  ## QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 ## QCon 北京 广州 ## 分析产品负责人@PingCAP 曾就职于网易杭研，担任 BigData Infra Team Lead - 主要关注大数据，分布式数据库，SQL on Hadoop 等领域 ## 实时场景技术选型 ## 案例分析 我希望做一个实时分析系统，提供运营人员实时查询当前经营数据 - 我需要一个存储系统当做 Data Sink 保存（可能有变更的）大量数据以供中高并发 SQL 复杂查询访问  ## 更严格的需求 如果实时短读写需要稳定的高频低延迟响应 ● 或者干脆绕过消息队列缓存，在线应用直接写入数据库 ☐ 需要系统负荷有余量 ☐ 受到较少的干扰 ☐ 使用行存格式 - 如果实时长查询快速返回结果 所有系统资源全力投入计算 ☐ 使用列存格式 ## 案例回顾 TiDB 为保证短读写，使用了行存而非列存

Go打造亿级实时分布式平台 高超 GopherChina 2017 ’ alt=‘OCR图片’/> 东南亚最大的出行平台 成立于2011年 7个国家 39个城市 710000位司机 36000000次App下载 GopherChina 2017 www.gopherchina.org Grab 新加坡 北京 西雅图 越南 印尼 Grab从前的技术栈

## 深度学习-人脸识别和风格迁移 黄海广 副教授 2023年04月 ## 本章目录 01 人脸识别概述 02 神经风格迁移 ### 1. 人脸识别概述 ## 01 人脸识别概述 02 神经风格迁移 ### 1. 人脸识别概述 ## 人脸验证（face verification） • 输入图片，以及某人的ID或者是名字 • 验证输入图片是否是这个人 ## 人脸识别（face recognition） [Image](/uploads/documents/9/9/b/a/99ba641816164f93be57d4bd66abe4f3/p18_2.jpg) ### 2. 神经风格迁移 01 人脸识别概述 ## 02 神经风格迁移 ### 2. 神经风格迁移  Generated image (G) ### 2. 神经风格迁移 Visualizing what a deep network is learning  224×224×3 ### 2. 神经风格迁移 ## 深度学习=表示学习+浅层学习 ![