## Greenplum备份恢复浅析 姓名：___ 邮箱：zhuodao.zwj@alibaba-inc.com 公司：阿里云 Greenplum数据备份恢复： 1. 数据量较大 2. 不能完全使用Xlog日志备份 3. 需要保证数据完整性和一致性 ## Greenplum提供了： 1. 非并行备份和恢复： --pg_dump和pg_dumpall（pg_restore） --copy、psql --copy、psql 2. 并行备份和恢复 --gpcrondump（gpdbrestore） ## 并行备份和恢复  gpcrondump  Master segment gpcrondump.py segment gp_dump segment

## 微信 SQLite 数据库 损坏恢复实践 johnwhe (何俊伟) ☐ 问题背景 ☐ 常规做法 ☐ 数据备份 ◇ Repair Kit ☐ 组合方案 ## SQLite 恢复 ## 问题背景 微信聊天记录只存客户端 微信团队 欢迎你再次回到微信。如果你在... SQLCipher 加密数据库 ## 问题背景 ☐ SQLite 概率性损坏 ☐ 1/20,000 ~ 256MB ~1%，1GB ~1% ☐ 设备断电、kernel crash、空间不足 ☐ 问题背景 ☐ 常规做法 ☐ 数据备份 ◇ Repair Kit ☐ 组合方案 ## SQLite 恢复 ## 常规做法 .dump 命令 来自 SQLite 命令行工具 ☐ 整个 DB 输出为 SQL 语句 $ sqlcipher samples/sample-repairdb/src/ma ### .dump 用于恢复 ☐ 打开损坏 DB 后使用 ☐ 遇到错误前一直输出 ☐ 遇到错误，跳到下一个表 ### .dump 成功率 ☐ 成功率仅 ~30% ☐ 打不开 DB ☐ 打开了读不出数据 ☐ 问题背景 ☐ 常规做法 ☐ 数据备份 ☐ Repair Kit ☐ 组合方案 ## SQLite 恢复 ## 数据备份 ☐ 主要考虑因素 恢复成功率 ☐ 空间大小 ☐

..... ## MySQL 数据库架构 灾难恢复解决方案 MySQL InnoDB Cluster Set 介绍 MySQL SE 罗伟文 …… …… …… …… …… ## Safe Harbor Statement 以下内容旨在概述我们的一般产品方向。它仅供参考，不得纳入任何合同。它并不提供任何材料、代码或功能的承诺，不应据此做出购买决策。Oracle产品描述的任何特性或功能 [Image](/uploads/documents/4/1/b/f/41bf4e9c6607aa3e903e68d7ea1e501d/p5_2.jpg) 数以百万计的银行客户无法访问在线帐户。银行花了将近2天的时间才恢复正常运作。  ## 过去、现在和未来 [Image](/uploads/documents/4/1/b/f/41bf4e9c6607aa3e903e68d7ea1e501d/p7_1.jpg) - 设置复制拓扑通常是手动完成的，需要执行许多步骤包括用户管理、恢复备份、配置复制... - MySQL只提供技术部分，让用户来设置（始终自定义的）架构。 - 甚至需要其他软件...为DBA和专家带来了大量工作，他们花时间自动化和集成他们的定制架构 ## Present

## 如何利用深度学习提高高精地图生产的自动化率 DeepMap 邹亮 2019-05-08 ## 极客邦科技 会议推荐2019  ## QCon 北京 ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 QCon ts/5/a/6/0/5a6070d8742bbf0e201041c10f37538d/p10_1.jpg) ## DEEPMAP 为什么高精地图需要深度学习 最大可能提高高精地图生产的自动化率，减少人工作业 自动获得各类地物的类型，比如车辆，行人，楼房等 ## DEEPMAP 应用 语义图像分割 (Semantic Image Segmentation) 道路边线检测(Lane line 路牌、信号灯检测 (Sign Detection, Traffic Light Detection) 推断(Inference) TensorRT 有很高的精确率(precision) (Intersection over Union) 有很高的召回率(recall) 自动生成路牌和信号灯的3D位置 ## DEEPMAP 路牌、信号灯检测 (Sign Detection, Traffic Light

Kudu的设计目标  - 扫描大数据量时吞吐率高(列式存储和多副本机制) - 目标: 相对Parquet的扫描性能差距在2x之内 - 访问少量数据时延时低(主键索引和多数占优复制机制) - 目标: SSD上读写延时不超过1毫秒 - 服务器采用P595的两个分区（48CPU），部署不同的地市，互为主备 • 存储使用2台DS8300，RAID5方式，有效容量54TB - 数据量大，增长迅速，但数据库的扩容工程施工风险 ## • 数据风险高 - 灾难恢复依赖磁带，业务中断时间长 • 效率低 – 关系数据库处理困难，查询慢（超过15秒） – 关系数据库入库慢，常有清单文件积压，不能实时入库，从而不能实时查询 ## 基于Hadoop的清帐单系统架构 写需要减少Compaction操作，因此文件越多越好 - 优化读或者写之一，而不是全部 • 顺序 vs. 随机? - 参考值——每个RegionServer吞吐率>20MB/s – 读吞吐率>3000ops/s, 写吞吐率>10000ops/s - 尽量在HBase表结构设计时就考虑解决性能问题，而不是通过设置参数来调整HBase性能！ ## HBase的性能优化 • 预分配region

## PyTorch ## 动量与学习率衰减 主讲人：龙良曲 ## Tricks ■ momentum learning rate decay ## Momentum $$ w^{k+1}=w^{k}-\alpha\nabla f(w^{k}). $$ $$ z^{k+1}=\beta z^{k}+\nabla f(w^{k}) $$ $$ w^{k+1}=w^{k}-\alpha