对于数据的某一个子集能够进行有效地扫描 - 具有容错特性，能够将数据持久化的非易失性存储中 – 使用HDFS做底层存储，可利用Hadoop的压缩Codec等减少空间占用 • 自动水平扩展 - 只需要加入新的结点即可提高存储容量和吞吐量 – 服务器能够被动态加入或者删除（用以维护和升级） – 服务器自动调整负载平衡 ## HBase的原子性保证 ## HBase仅保证对行操作的原子性 ## - 任何行级的操作是原子的 - Kudu的设计目标  - 扫描大数据量时吞吐率高(列式存储和多副本机制) - 目标: 相对Parquet的扫描性能差距在2x之内 - 访问少量数据时延时低(主键索引和多数占优复制机制) - 目标: SSD上读写延时不超过1毫秒 - 写需要减少Compaction操作，因此文件越多越好 - 优化读或者写之一，而不是全部 • 顺序 vs. 随机? - 参考值——每个RegionServer吞吐率>20MB/s – 读吞吐率>3000ops/s, 写吞吐率>10000ops/s - 尽量在HBase表结构设计时就考虑解决性能问题，而不是通过设置参数来调整HBase性能！ ## HBase的性能优化 • 预分配region

## 如何利用深度学习提高高精地图生产的自动化率 DeepMap 邹亮 2019-05-08 ## 极客邦科技 会议推荐2019  ## QCon 北京 ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 QCon ts/5/a/6/0/5a6070d8742bbf0e201041c10f37538d/p10_1.jpg) ## DEEPMAP 为什么高精地图需要深度学习 最大可能提高高精地图生产的自动化率，减少人工作业 自动获得各类地物的类型，比如车辆，行人，楼房等 ## DEEPMAP 应用 语义图像分割 (Semantic Image Segmentation) 道路边线检测(Lane line 路牌、信号灯检测 (Sign Detection, Traffic Light Detection) 推断(Inference) TensorRT 有很高的精确率(precision) (Intersection over Union) 有很高的召回率(recall) 自动生成路牌和信号灯的3D位置 ## DEEPMAP 路牌、信号灯检测 (Sign Detection, Traffic Light

## 简单·可信赖 ## 内容提要 - 系统设计分析与架构 - 多种上下游适配 - 高吞吐/低延迟问题探究 - 高可用与水平扩展 - 自动化运维 - Go的应用 ## 系统设计分析与架构 ## 构建系统的挑战 每天数千亿数据点 任务切分粒度 每天百TB数据量 1 高吞吐量 4 水平扩展 机器扩容 高峰期每分钟近200GB数据量 master节点failover /1/6/b/716b45ba07ae342152eb1f7952269e99/p10_3.jpg) Sinker 云存储导出模型 ## 高吞吐/低延迟问题探究 ## 简单·可信赖 ## 困难 高吞吐 1、资源利用率低 2、上下游吞吐能力不匹配 ![Image](/uploads/documents/7/1/6/b/716b45ba07ae342152eb1f7952269e99/p12_2

延迟小于30毫秒。对公司而言，对性能的需求和对管理的需求一样，因为公司依靠API交易速率来跟上业务发展速度。 API管理解决方案不能成为性能瓶颈。许多公司都在寻找跨多个API端点的负载均衡和高交易量吞吐的解决方案。如果业务每秒有1000个交易，一个月内就会有30亿次API调用。拥有大流量的公司通常每月API调用次数超过100亿次。因此，在选择API管理解决方案时，性能是一个关键因素。 在本文中， https://github.com/giltene/wrk2 2 https://aws.amazon.com/marketplace/pp/B08P51PKC1 每轮测试中，我们对平台、配置和请求率都重复进行了五次。我们从每秒10,000个请求（rps）的压测开始，扩大到20,000 rps。我们每个测试都进行了60秒。我们捕获了50%、90%、95%、99%、99.9%和99.99%时的请求响 000个端点也没有改变表现情况。你可以预料到在每秒10,000个请求和1,000个端点的情况下，API7的延迟只有几毫秒（个位数）。 在这个测试中，使用特定的负载和特定的配置，API的请求在API7上的延迟最低，吞吐量最高，而不是Kong EE。 注意，随着产品的发展或内部测试指向不同的配置，所有平台上的优化都是可能的。 ## 6 - 附录 本测试中使用的后端API使用以下配置部署在NGINX上： 该程序

## PyTorch ## 动量与学习率衰减 主讲人：龙良曲 ## Tricks ■ momentum learning rate decay ## Momentum $$ w^{k+1}=w^{k}-\alpha\nabla f(w^{k}). $$ $$ z^{k+1}=\beta z^{k}+\nabla f(w^{k}) $$ $$ w^{k+1}=w^{k}-\alpha

 .dump：先压缩后加密 → 压缩率高 ## 我们的方案 ☐ 基于 dump + 压缩 ☐ 加密保存 ☐ 自定义二进制格式 多线程流水线 ☐ 只备份不可恢复数据 ☐ 灭屏充电时备份 ## 性能效果  备份速度(条/秒) 恢复速度(条/秒) ## 线上恢复率 备份未覆盖 恢复成功 恢复失败 备份损坏 72% ## 时效问题 ☐ 问题背景 ☐ 常规做法 ☐ 数据备份 ◇ Repair Kit ☐ 组合方案 ## SQLite 恢复 ## Fallback 到备份  ## 线上恢复率 统计方法：按 Page 数  ☐ 问题背景

包的意义 通用性 ·业务开发者无需关注构建配置 ·统一团队构建脚本 可维护性 ·构建配置合理的拆分 ·README 文档、ChangeLog 文档等 质量 ·冒烟测试、单元测试、测试覆盖率 ·持续集成 ## 构建配置管理的可选方案 通过多个配置文件管理不同环境的构建，webpack --config 参数进行控制 将构建配置设计成一个库，比如：hjs-webpack、Neutrino、webpack-blocks ·SSR环境：webpack.ssr.js ## 抽离成一个 npm 包统一管理 ·规范：Git commit日志、README、ESLint 规范、Semver 规范 ·质量：冒烟测试、单元测试、测试覆盖率和 CI ## 通过 webpack-merge 组合配置 > merge = require("webpack-merge") ... > merge( ... { a: } else { throw new Error("No files found"); } }); ## 单元测试与测试覆盖率  ![Image](/upload