Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 通过外部表进行访问 在图 1 中，我们利用 Oracle Database 11g 实现本文所述的数据库内的 mapreduce。通常情况下，Oracle Database 11g 中的并行执行框架足以满足针对外部表大多数的并行操作。 在有些情况下（例如，如果 FUSE 不可用），外部表方法可能不适用。Oracle 表函数提供了从 Hadoop 中获取数据的替代方法。本文附带的示例展示了一种这样的方法。 将数据排入一个公共队列，而表函数则从该队列中取出数据。由于该表函数能够并行运行，因此使用额外的逻辑来确保仅有一个服务进程提交外部作业。  图 2. 利用表函数进行并行处理 由于表函数可以并行运行，Hadoop 流作业也可以不同程度地并行运行，并且后者不受 Oracle 查

3.jpg)  # TBB 开启的并行编程之旅 by 彭于斌 (@archibate) 往期录播：https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码：https://github [Image](/uploads/documents/1/0/0/5/10051dd97d247e9f7a97909b93f2890b/p1_8.jpg) ## 高性能并行编程与优化 - 课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++，后半段主要介绍并行编程与优化。 1. 课程安排与开发环境搭建：cmake 与 git 入门 2. 现代 C++ 入门：常用 STL 容器，RAII 内存管理 3. 编译器如何自动优化：从汇编角度看 C++ 5. C++11 起的多线程编程：从 mutex 到无锁并行 6. 并行编程常用框架：OpenMP 与 Intel TBB 7. 被忽视的访存优化：内存带宽与 cpu 缓存机制 8. GPU 专题：wrap 调度，共享内存，barrier 9. 并行算法实战：reduce，scan，矩阵乘法等 10. 存储大规模三维数据的关键：稀疏数据结构 11

## 在JavaScript中的 并行语言特性 周爱民 @aimingoo https://github.io/aimingoo 上海南潮信息科技有限公司/ruff.io 全球技术领导力峰会 # 500+高端科技领导者与你一起探讨 技术、管理与商业那些事儿 2019年6月14–15日 上海圣诺亚皇冠假日酒店   并行 promise.then() 结构化 .catch .finally top level await 函数式 async/await for await..of async* extends ... pure promise instance 动态 import() thenabled object RunJobs() running execution context 任务队列 PromiseJobs or ScriptJobs 执行栈 execution context stack ## async function foo() { var x = await

## 并行不悖 – OLAP 在互联网公司的实践与思考 ## 赵飞祥 一 数据仓库体系架构 二 Greenplum体系架构 三 Greenplum现状说明 四 Greenplum运维体系 五 Greenplum开发规范 六 Greenplum扩展规划 ## 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） “现在”的数据 —— OLTP “过去”的数据 执行查询计划及数据存储管理 外部数据源并行装载或导出  ## greenplum体系架构 ## greenplum的体系结构 ## • greenplum的架构特点 MPP ShareNothing 海量并行处理+完全无共享 ➢ cpu计算能力 以对账业务为主，统计计算为辅 ## • 公司IDC 02机房Greenplum体系 针对数据来源主要是kfk产生csv文件的业务，不直接从数据库传数 以重点业务线、活动数据、非OLTP业务数据的任务计算为主 ## • 公司IDC 03机房Greenplum体系 数据来源来源为OTLP库库，针对大数据量传输和计算，采用T+1方式 以核心业务的数据计算、统计为主 ## Greenplum现状说明

build 目录 • 切换到 build 目录 • 在 build 目录运行 cmake < 源码目录> 生成 Makefile - 执行本地的构建系统 make 真正开始构建（4 进程并行） - 让本地的构建系统执行安装步骤 回到源码目录 ## 现代 CMake 提供了更方便的 -B 和 --build 指令，不同平台，统一命令！ • cmake -B build // 在源码目录用

1>>() 后，并不会立即在 GPU 上执行完毕，再返回。实际上只是把 kernel 这个任务推送到 GPU 的执行队列上，然后立即返回，并不会等待执行完毕。 - 因此可以调用 cudaDeviceSynchronize()，让 CPU 陷入等待，等 GPU 完成队列的所有任务后再返回。从而能够在 main 退出前等到 kernel 在 GPU 上执行完。 ![Image](/u 3\gg> $ 试试看。 你会看到 Hello, world! 打印了三遍！ - 原来，三重尖括号里的第二个参数决定着启动 kernel 时所用 GPU 的线程数量。 - GPU 是为并行而生的，可以开启很大数量的线程，用于处理大吞吐量的数据。 ![Image](/uploads/documents/6/b/e/7/6be70db418434c4b3ebda53c2593beaa/p24_1 x 获取。 可以看到这里执行了两个板块，每个板块又有三个线程，总共有 $ 2 \times 3 = 6 $ 个线程。 - 而且看到这里板块 1 在板块 0 之前执行了，这是因为板块之间是高度并行的，不保证执行的先后顺序。线程之间也是，这里线程打印顺序没乱，不过是碰巧小于 32 而已。 Block 1 of 2, Thread 0 of 3 Block 1 of 2, Thread 1 of