基于GP打造SaaS化电商服务平台 聚水潭 秃鹰 赵坚密 2019.08.10 聚水潭成立于2014年1月，创始人兼CEO骆海东拥有超过二十年传统 及电商ERP的研发和实施部署经验，公司核心管理团队来自于阿里巴 巴、亚马逊、中国平安和麦包包等知名公司。 聚水潭创建之初，以电商SaaS ERP切入市场，凭借出色的产品和服务， 快速获得市场领先地位。随着客户需求的不断变化，如今聚水潭已经 发展成为以SaaS 发展成为以SaaS ERP为核心，集多种商家服务为一体的SaaS协同平台， 为全国近20万家电商企业提供全面的信息化解决方案。 经过5年多的发展，公司员工从2014年成立之初的9人增加到现在 1200多人。聚水潭已在全国设立了40多个线下服务分支机构，服务范 围覆盖超过268个城市，为客户提供及时、周到和专业的服务。 来自阿里巴巴旗下商家服务市场的最新数据显示，聚水潭已是企业 ERP类目中使用商家

接⼊ SuperSet UDW 使⽤案例 使⽤案例 案例⼀ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 案例⼆ 基于UDW实现⽹络流分析 PXF 扩展 扩展 配置 PXF 服务 创建 EXTENSION 读写 HDFS ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 4/206 194 196 198 B级数据仓库服务。UDW可以通过SQL让数据分析更简 单、⾼效，为互联⽹、物联⽹、⾦融、电信等⾏业提供丰富的业务分析能⼒。⽀持MADlib扩展，客⼾可以在udw上使⽤MADlib的扩展功能，从⽽让机器学习变得简单，⽀持PostGIS，可以⽅便 的⽀持空间、地理位置应⽤。最新⽀持greeplum6.2.1版本。 云数据仓库产品架构 云数据仓库产品架构 云数据库仓库 UDW 服务的架构图如下所⽰： 28核 168G 3800G(SSD) 选择数据仓库类型：Greenplum 是 EMC 开源的数据仓库产品、Udpg 是基于 PostgreSQL 开发的⼤规模并⾏、完全托管的 PB 级数据仓库服务。 选择节点个数：UDW 是分布式架构、所有节点数据都是双机热备,实际可⽤总容量略⼩于节点个数*节点磁盘⼤⼩/2，请根据实际数据⼤⼩选择合适的节点。 3.设置数据仓库信息 必选项有数据仓库名称

并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 6 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 4/16/2017 8 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 为何进行复制？ •将数据库从“主服务器”复制到“从服务器” – 数据的冗余副本奠定了高可用性的基础 – 通过在复制场中进行分布式查询来扩展 主 从 Web/应用服务器 写入和读取 读取 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 9 •异步 – Monitor 监视和跟踪 MySQL 数据库。 该软件提供了快速的一站式服务， 可用来密切监视数据库。” -Wes Homer， 高级系统和网络管理员 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 13 并不仅仅是可靠地存储数据 支持高可用性的各个层 数据的冗余访问路径 数据冗余存储 冗余应用服务器 数据路由 4/16/2017 版权所有 2015，Oracle

ORACLE 产品介绍 MySQL 企业版 全球广受欢迎的开源数据库 重要特性  Oracle MySQL 服务云  MySQL 数据库  MySQL 企业级备份  MySQL 企业级高可用性  MySQL 企业级可扩展性  MySQL 企业级身份验证  MySQL 企业级 TDE  Query Analyzer  超过 225 个 MySQL 顾问程序  600 多个受控变量  60 多种性能图表  MySQL Workbench  Oracle 标准支持服务 “借助 MySQL Query Analyzer， 我们可以识别和分析存在问题的 SQL 代码，同时将数据库性能提 升两倍。更加重要的是，我们在三 天内就完成了这一任务，而过去则 需要数周之久。” 可扩展性、安全性、可靠性和无故障运行时间。 MySQL 企业版可在开发、部署和管理业务关键型 MySQL 应用的过程中降低风险、削减成本和减 少复杂性。MySQL 企业版具有以下独特优势：  使用 Oracle MySQL 服务云轻松设置、运行和管理云中的 MySQL  使用 MySQL 分组复制来确保数据库的高可用性  通过 MySQL 企业级可扩展性应对指数级增长的用户和数据量  通过 MySQL

TiDB在易易果集团的应⽤用 .罗瑞星 2018 / 05 / 26 ⾃自我介绍 罗瑞星 ⼤大数据⾼高级⼯工程师@51job ⼤大数据架构师@易易果集团 负责易易果集团⼤大数据⽅方向架构设计，优化；数据⼯工具及产品的开发 • 背景介绍. • TiDB的应⽤用 • 未来规划 1 2 3 ⽬目录 CONTENTS 易易果集团介绍 易易果⽣生鲜电商易易果创⽴立于2005年年， 易易果集团由易易果⽣生鲜成⽴立，未来将 Dblink不不好管理理，接⼊入数据有限 ⼤大促期间性能下降 不不能为外部部⻔门提供服务 DATAWAREHOUSE thinking 性能 • 能够像随时接⼊入想要的数据 不不⽤用考虑容量量，性能等问题 权限管理理 • 细化的权限管理理 易易⽤用 • 让初级⼩小⽩白也能够⽅方便便使⽤用 • SQL⽽而不不是代码 赋能 • 能够为IT其他部⻔门提供服务 数据中台的建设 选择TiDB的理理由 分布式 能够横向拓拓展 • 2、mysql和sqlserver同时接⼊入 • 3、已经为o2o，dms 等业务部⻔门提供数据接⼝口服务 • 4、分析师可以在TiDB⾥里里⾯面做数据探索，数据分析 架构 TiDB⽬目前应⽤用现状 现状 接⼝口平台 TiDB接⼊入的数据对外提供数据接 ⼝口服务 开发成本：天级别 � ⼩小时级别 数据中台接⼊入更更多业务 TP向业务使⽤用TiDB 统⼀一的流式/近实时数据抽取，加⼯工调度平台

2018年PostgreSQL中国技术大会 PostgreSQL和Greenplum 数据库故障排查 赵振平 zzp@taryartar.com 北京太阳塔信息科技有限责任公司 2018年PostgreSQL中国技术大会 自我介绍 微信号：laohouzi999 2018年PostgreSQL中国技术大会 • 赵振平，太阳塔技术总监 • 电子工业出版社签约作家 • 腾讯最具价值专家（TVP） • 计算机畅销书作家 • iptables chkconfig --level 0123456 iptables off 2)临时目录/tmp（安装日志） 3)服务器日志（PostgreSQL server error log） 2018年PostgreSQL中国技术大会 微信号：laohouzi999 服务器日志（PostgreSQL server error log） -bash-4.1$ locate pg_ctl /u 9 09:02 postmaster.opts -rw------- 1 postgres postgres 95 Dec 9 09:02 postmaster.pid 这里是监听哪台服务器，而不是监听哪个客户端，控制哪 个客户端 -bash-4.1$ cat postgresql.conf |grep listen_address #listen_addresses = 'localhost'

信仰开源，做分布式数据库的，叫 TiDB（好像还蛮火的） TiDB 是分布式的，PingCAP 这个公司也是分布式的（北京、上海、广州、深圳、成 都、杭州、新加坡、东京、硅谷） We're hiring! 今天的演讲内容来自我最近的一个真实经历。。。。 一个真实的故事 老板：怎么应用那么卡？ 前端开发：是不是你网络不行 老板：换了个网还是一样 前端开发：找到原因了，这个 REST API 卡了几秒返回 后端开发：这个 （事后一看果然是） Logging / Tracing / Metrics 分布式 Tracing 面临的挑战 ● 领域知识和业务强相关 ○ 工程师不会熟悉每个模块 ● 跨越多团队 / 语言 / 服务 / 模 块 / 物理机 ● 业务侵入性和性能损耗 ● 实时，秒级别有效性 行业现状 ● 起点：《Dapper, a Large-Scale Distributed Systems Tracing 友好 ● 多种 Sampling 策略 ● 后端存储分离 ● Go! (图标也好看) Example: Example: Carrier ● Tracing 信息携带者 ○ 解决跨服务调用的 Tracing metadata 序列化和反序列化抽象 ● Inject / Extract ○ HTTPHeader ○ TextMap Example: 通过 HTTPHeader

16-11-22 下午3:38 2 由此，业界认识到对于海量数据需要一种新的计算模式来支持，这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时，开放的X86服务器技术已经能很好的支持商用，借助高速网络（当 时是千兆以太网）组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 Greenplum 的数据库引擎层是基于著名的开源数据库 Postgresql的（下面会分析为什么采用Postgresql，而不是mysql等等）， 但是 Postgresql 是单实例数据库，怎么能在多个 X86 服务器上运行多 个实例且实现并行计算呢？为了这，Interconnnect 大神器出现了。在 那一年多的时间里，大咖们很大一部分精力都在不断的设计、优化、 开发 Interconnect 这个核心软件组件。最终实现了对同一个集群中多 Postgressql 有以下考虑： Postgresql 号称最先进的数据库（官方主页“The world’s most advanced open source database”）, 且不管这是不是自我标榜， 就从 OLAP 分析型方面来考察，以下几点 Postgresql 确实胜出一筹。 Big Date2.indd 4 16-11-22 下午3:38 Greenplum 精粹文集

distributed, versioned, non-relational database modeled after Google's Bigtable … 先来⼀一段HBase官⽹网的⾃自我介绍. blabla翻译⼀一下 重点看其中的红字, 什什么hadoop数据库, 分布式的, 可伸缩的, 随机实时读写 ⼗十亿级⾏行行, 百万级列列 每次看⼀一个项⽬目介绍完⾃自⼰己, 还是不不知道他是⼲干嘛的 bucket>[... RowKey: Column Qualifier: 指定指标的所有数据 指定指标指定时间的所有数据 指定⼀一个服务器器所有指标? 内存使⽤用率 20190725 16 机器器号 2294 类似关系数据中建索引的时候, 最左前缀的原则 Schema设计 OpenTSDB 另⼀一种存指标数据的设计

0 码力 | 33 页 | 4.86 MB | 1 年前

3

这个配置就是直接使用了 JDBC 的提交和回滚设置，它依赖于从数据源得到的连接来管理事务范围。 MANAGED – 这个配置几乎没做什么。它从来不提交或回滚一个连接，而是让容器来管理事务的整个生命周期（比如 JEE 应用服务器 的上下文）。 默认情况下它会关闭连接，然而一些容器并不希望这样，因此需要将 closeConnection 属性设置为 false 来阻止它默 认的关闭行为。例如: 服务器这类容器中使用，容器可以集中或在外部配置数据源，然后放置一个 JNDI 上 下文的引用。这种数据源配置只需要两个属性： initial_context – 这个属性用来在 InitialContext SqlSession: 会开启一个事务(也就是不自动提交) 连接对象会从由活动环境配置的数据源实例中得到。 事务隔离级别将会使用驱动或数据源的默认设置。 预处理语句不会被复用,也不会批量处理更新。 这些方法大都可以自我解释的。 开启自动提交, “true” 传递 给可选的 autoCommit 参数。 提供自定义的连接,传递一个 Connection 实例给 connection 参数。注意没有覆盖同时设置 Connection