Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据，最简单的方法莫过于使用外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据，并且可在 SQL 查询中完全透明地使用。因此，可以考虑用外部表从 Oracle 数据库中直接访问 HDFS（Hadoop 文件系统）中存储的数据。遗憾的是，常规的操作系统无法调用外部表驱动直接访问 HDFS 文件。FUSE（File 通过外部表进行访问 在图 1 中，我们利用 Oracle Database 11g 实现本文所述的数据库内的 mapreduce。通常情况下，Oracle Database 11g 中的并行执行框架足以满足针对外部表大多数的并行操作。 在有些情况下（例如，如果 FUSE 不可用），外部表方法可能不适用。Oracle 表函数提供了从 Hadoop 中获取数据的替代方法。本文附带的示例展示了一种这样的方法。

3.jpg)  # TBB 开启的并行编程之旅 by 彭于斌 (@archibate) 往期录播：https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码：https://github [Image](/uploads/documents/1/0/0/5/10051dd97d247e9f7a97909b93f2890b/p1_8.jpg) ## 高性能并行编程与优化 - 课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++，后半段主要介绍并行编程与优化。 1. 课程安排与开发环境搭建：cmake 与 git 入门 2. 现代 C++ 入门：常用 STL 容器，RAII 内存管理 3. 编译器如何自动优化：从汇编角度看 C++ 5. C++11 起的多线程编程：从 mutex 到无锁并行 6. 并行编程常用框架：OpenMP 与 Intel TBB 7. 被忽视的访存优化：内存带宽与 cpu 缓存机制 8. GPU 专题：wrap 调度，共享内存，barrier 9. 并行算法实战：reduce，scan，矩阵乘法等 10. 存储大规模三维数据的关键：稀疏数据结构 11

## 在JavaScript中的 并行语言特性 周爱民 @aimingoo https://github.io/aimingoo 上海南潮信息科技有限公司/ruff.io 全球技术领导力峰会 # 500+高端科技领导者与你一起探讨 技术、管理与商业那些事儿 2019年6月14–15日 上海圣诺亚皇冠假日酒店   并行 promise.then() 结构化 .catch .finally top level await 函数式 async/await for await..of async* [Image](/uploads/documents/9/1/3/f/913f07cec8e87d6a2f1136aaefd2e432/p39_1.jpg) → Promise并行方法的实现 → 在ES2017及其之后的扩展 多线程环境下的并行与并发 → 分布式环境下的应用 ## 极客邦科技 会议推荐2019 ![Image](/uploads/documents/9/1/3/f/913f07cec8

构建支撑千亿级数据量的高可用查询引擎 演讲人：蔡岳毅 1. 为什么选择ClickHouse/StarRocks; 2. ClickHouse/StarRocks 的高可用架构； 3. 如何合理的应用ClickHouse的优点，StarRocks如何来补充ClickHouse的短板； 4. ClickHouse的调优，运维介绍； 5. 应用总结； ## 根据实际业务场景需要来选择 1. 不固定的查询条件，不固定的汇总条件； c14ade/p5_1.jpg) ## StarRocks的特点 ## 优点： 1. 支持标准的SQL语法，兼容MySQL协议； 2. MPP架构，扩缩容非常简单方便； 3. 支持高并发查询； 4. 跨机房部署，实现最低成本的DR ## 缺点： 1. 不支持大规模的批处理； 2. 支持insert into，但最理想的是消费Kafka;  ## 采用ClickHouse后平台的查询性能 ### system.query_log表，记录已经执行的查询记录 query：执行的详细SQL，查询相关记录可以根据SQL关键字筛选该字段 query duration ms: 执行时间 memory usage: 占用内存 read_

## 并行不悖 – OLAP 在互联网公司的实践与思考 ## 赵飞祥 一 数据仓库体系架构 二 Greenplum体系架构 三 Greenplum现状说明 四 Greenplum运维体系 五 Greenplum开发规范 六 Greenplum扩展规划 ## 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） “现在”的数据 —— OLTP “过去”的数据 OLAP场景举例 ## · 业务相关场景 ➢ 用户状态（注册数，活跃数，并发量，峰值） 金币状态 道具/物品状态 对账状态 活动反馈 ## • 架构相关场景 不同数据量，不同事务特点，不同查询需求 历史数据归档与冷热分离 实时与延时需求的权衡 ## 数据流转过程 • 1 业务数据的产生 —— OLTP • 2 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 segment数据节点 ## 架构的具体技术实现 ## • 轻量级数据仓库 —— Inforbright 与MySQL数据库结合，易使用，冷热分离 数据库归档，只能load，不支持DML - 对特定OLAP类查询有很好的支持作用 ## • 通用性数据仓库 —— Greenplum - 独立的数据库仓库解决方案 - 可以很好支持各种方式的数据加载和DML操作 - 具备海量的数据存储和计算性能 一 数据仓库体系架构