SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar.Com 聪明你的旅行 ___ 搜索量 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算，填充好 • 一个巨大的哈希表 • 响应所有渠道价格变动进行计算 - 快 · 0 变价 ## 设计思路 按需计算 消息驱动 分布式 CAP BASE 理论 异步 无状态 吞吐 • 数据交换采用protobuf + gzip处理 - jit、预热 ## 回顾 • 水平分层，纵向分渠道，良好的扩展性 - 实时计算 + 阶梯式缓存，成本与报价新鲜度的权衡 · 闭环系统 · 索引库数据同步 • 本地缓存的设计，更新策略 • 缩减对象内存 0 ·一致性哈希负载均衡 ## 心得 • 不同的业务场景，不同的特征 · 结合特征去进行设计和优化 • 通用

## Python for Good >>> PyCon China 2022 Python分析alpha vaults策略 主讲人：代少飞－量化开发 Python  HELLO WORLD ## 个人简介 主要从事量化开发相关工作 8.6 days ## 大纲 一、策略介绍 二、部署开发 三、使用说明 四、策略回测 ## 策略介绍 资金量有一定规模，进出中心化交易所，比较费力 第一个上线的 Uniswap v3 LP 策略 Uniswap v3 在 2021 年 5 月 5 日发布后两天，Charm 部署了其第三款产品：Uniswap v3 LP 操作策略——Alpha Vault，并且已经被证明是非常成功的产品：利润比 last_price=1900 入参 last_price 为上一次调整的值 说明： 默认 gap0_alter 为 3.19%（看事例说明） ## 出参 true 为应该调整 false 为不应该调整 ## 策略回测 原理： 统计一段时间每小时呆在价格区间的命中率，暂时不考虑小时流动性 区间下沿价格 $ p_{-1} $ 区间上沿价格 $ p_{-u} $ 选取每小时平均值p作为参考，区间命中率

9d/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 海尔实时计算平台技术选型与实践 海尔电器 - 肖云 主办方 Geekbang. InfoQ 极客邦科技 ## 促进软件开发领域知识与创新的传播  ## 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 ## 背景 - 海尔大数据总体规划 数据应用 数据可视化+Java Olap Report 精准化 ![Image](/u 物理表 财务 微商 物流 车小微 数据市场 应用市场 数据服务 数据开放 物流 库存 营销 订单 实时计算 库存 用户行为 关键业务数据（实时） 跨境电商 RRS 区域运营 服务网 元数据管理 数据质量 据 管 数据安全 ## 实时计算平台框架 数据产品1 数据产品2 数据产品N 存储服务 ![Image](/uploads/document

## Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC CDC 数据 ↓ ## MySQL $ ^{®} $ → HBASE ## 方案评估 优点 1、CDC记录实时写入HBase。高吞吐+低延迟。 2、小范围查询延迟低。 3、集群可拓展 缺点 1、行存索引不适合分析任务。 2、HBase集群维护成本较高。 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便 Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 2、和 HDFS / S3 / OSS 等割裂。数据独立，且存储成本不如 S3

## 使用 TiDB 进行实时数据分析 ## 马晓宇@PingCAP ## 极客邦科技 会议推荐2019  ## QCon ## 全球软件开发大会 大会：5月6–8日 培训：5月9–10日 ## QCon 北京 广州 ## 分析产品负责人@PingCAP 曾就职于网易杭研，担任 BigData Infra Team Lead - 主要关注大数据，分布式数据库，SQL on Hadoop 等领域 ## 实时场景技术选型 ## 案例分析 我希望做一个实时分析系统，提供运营人员实时查询当前经营数据 - 我需要一个存储系统当做 Data Sink 保存（可能有变更的）大量数据以供中高并发 SQL 复杂查询访问  ## 更严格的需求 如果实时短读写需要稳定的高频低延迟响应 ● 或者干脆绕过消息队列缓存，在线应用直接写入数据库 ☐ 需要系统负荷有余量 ☐ 受到较少的干扰 ☐ 使用行存格式 - 如果实时长查询快速返回结果 所有系统资源全力投入计算 ☐ 使用列存格式 ## 案例回顾 TiDB 为保证短读写，使用了行存而非列存

Go打造亿级实时分布式平台 高超 GopherChina 2017 ’ alt=‘OCR图片’/> 东南亚最大的出行平台 成立于2011年 7个国家 39个城市 710000位司机 36000000次App下载 GopherChina 2017 www.gopherchina.org Grab 新加坡 北京 西雅图 越南 印尼 Grab从前的技术栈

基础篇：webpack 基础用法 03 | 基础篇：webpack 进阶用法 04 | 进阶篇：编写可维护的webpack 构建配置 05 | 进阶篇：webpack 构建速度和体积优化策略 06 | 原理篇：通过源码掌握webpack 打包原理 07 | 原理篇：编写 Loader 和插件 08 | 实战篇：React 全家桶 和webpack 开发商城项目 ## //huayang.qq.com/polyfill_service/v2/polyfill.min.js?unknown=polyfill&features=Promise,Map,Set ## 体积优化策略总结 Scope Hoisting Tree-shaking 公共资源分离 图片压缩 动态 Polyfill ## ☐ ☐ ☐ ☐ ## 扫码试看/订阅 《玩转webpack》

(AE) • 其隐变量z是一个单值映射： $ z=f(x) $ • 变分自编码 (VAE) • 其隐变量z是一个正态分布的采样 • 生成式对抗网络（GAN） • 条件生成式对抗网络（CGAN） 在生成器和判别器中添加某一标签信息 • 深度卷积生成式对抗网络 (DCGAN) • 判别器和生成器都使用了卷积神经网络（CNN）来替代GAN中的多层感知机 - 为了使整个网络可微，拿掉了CNN中的池化层 概念简介 ## 提出背景 GAN (Generative Adversarial Networks)，中文翻译为生成式对抗网络，是 Ian Goodfellow 等在2014 年提出的一种生成式模型。 GAN的基本思想源自博弈论的二人零和博弈, 由一个生成器和一个判别器构成, 通过对抗学习的方式来训练. 目的是估测数据样本的潜在分布并生成新的数据样本。 ### 2. GAN的理论与实现模型 ![I 4f1ce7a8c75d8ac2f1ae224585/p10_1.jpg) ### 2. GAN的理论与实现模型 （一）人工智能的热潮 （二）生成式模型的积累 （三）神经网络的深化 （四）对抗思想的成功 ## 概念简介 ## 提出背景 ### 2. GAN的理论与实现模型 GAN的基本原理 GAN的学习方法 GAN的衍生模型 ### 2. GAN的理论与实现模型 GAN