Network 0 码力 |
17 页 |
1.40 MB
| 2 年前 3 大数据集成与 Hadoop
可最大限度降低Hadoop计划风险并提高ROI的最佳实践
IBM $ ^{®} $
## 简介
Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 开源软件项目，支持在多个商业服务器群集间分散处理和存储大型数据集，并可根据需求变化从单一服务器扩展到数以千计的服务器。主要的Hadoop组件包括Hadoop Distributed File System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。
但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这 。
## 大数据集成对于Hadoop措施的重要性
Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要更深入的分析，还是希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都可以通过这项技术一一实现，从而大幅降低成本并创造新的收入。
依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop 0 码力 |
16 页 |
1.23 MB
| 2 年前 3 Curve元数据节点高可用
• 1. 需求
• 2. 技术选型
• 3. etcd clientv3的concurrency介绍
• 3.1 etcd clientV3的concurrency模块构成
• 3.2 Campaign的流程
• 3.2.1 代码流程说明
• 3.2.2 举例说明Campagin流程
• 3.3 Observe的流程
4. MDS使用election模块的功能进行选主 区
4.2.5.1 事件一先发生
4.2.5.2 事件二先发生
4.2.6 异常情况4：Etcd集群的follower节点异常
4.2.7 各情况汇总
### 1. 需求
mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。
因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的m 熟知的就是zookeeper和etcd，考虑当前系统中mds有两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。
使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to
live)指的是给一个key设置一个有效期，到期后key会被自 0 码力 |
30 页 |
2.42 MB
| 1 年前 3 ## HVR
## 个人介绍
• 中国科学技术大学计算机科学学士
• 上海交通大学MBA
• 20年+IT从业经验，专注于数据库技术领域
• 自2003年始从事数据库实时复制技术的解决方案
- 2013年至2015年在SAP 担任大数据和BI解决方案资深技术顾问
• 2015年加入HVR中国公司担任技术总监
• 微信号: gu9060
## HVR 连续数据集成技术
- 常见的使用场景 -
Cloud
Real-Time Analytics
Data Lake
Data Warehouse
Geographical Distribution jpg)
## 基于数据库事务日志的变化数据捕获
非侵入式技术对生产没有影响
基于日志捕获技术的实时性非常高
支持从过去的某一指定时间开始捕获
条件过滤
支持触发器捕获技术作为补充
## 异构平台间数据校验域修复
避免人为错误 0 码力 |
31 页 |
2.19 MB
| 2 年前 3 0 码力 |
233 页 |
4.62 MB
| 2 年前 3 ## Greenplum
## 新一代数据管理和数据分析 解决方案
## 关于Greenplum公司
## Greenplum
- Greenplum是一家数据库软件公司，在数据处理和BI/DW领域，提供容量最大、速度最快、性价比最好的数据库引擎产品和服务。
• Greenplum总部位于圣马蒂奥，加利福尼亚州，美国，成立于2003年6月。
• Greenplum 中国于2008年12月正式成立.
官方网站：
www.greenplum.com
www.greenplum-china ts/9/8/b/3/98b3d2ca5ab52d44cfe0bd9d7d1dfbef/p2_3.jpg)
## Greenplum: 简介
## 推动数据依赖型企业的发展
Greenplum数据引擎软件为新一代数据仓库所需的大规模数据和复杂查询功能所设计
## 全球各地的一些Greenplum客户
## 亚太地区
## 欧洲、中东、非洲
## 北美
从文明诞生到2003年，人类文明产生了5EB的数据；而今天，我们每两天产生5EB的数据。
Eric Schmidt Schmidt
Google
2011年每天处理的数据超过：
24 PB
0 码力 |
36 页 |
2.50 MB
| 2 年前 3 ## 深度学习 + 大数据 TensorFlow on Yarn
## 李远策 2017年4月17日
![Image](/uploads/documents/3/c/8/6/3c8605215c91326185ac873f441c0df8/p1_2 Yarn技术细节揭秘
➢ 深度学习平台演进及SparkFlow介绍
## 背景
坐标：360-系统部-大数据团队
专业：Yarn、Spark、MR、HDFS …
挑战：深度学习空前火爆，各种深度学习框架层出不穷，业务部门拥抱新兴技术。平台怎么应对？
机遇：Maybe 深度学习 + 大数据
![Image](/uploads/documents/3/c/8/6/3c8605215c91326 "ps1.example.com:2222"
]
})
带来的问题:
- 手动指定机器很繁琐
- 端口冲突
- 机器负载不均
## TensorFlow使用现状及痛点
数据分发 / 模型保存
- 手动分发训练样本 0 码力 |
32 页 |
4.06 MB
| 2 年前 3
| 
Flink如何实时分析Iceberg数据湖的CDC数据Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 数据 ↓ ## MySQL 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+10 码力 | 36 页 | 781.69 KB | 2 年前3
Apache Kyuubi 1.4.1 Documentation0 码力 | 233 页 | 4.62 MB | 2 年前3