Hadoop 迁移到阿里云MaxCompute 技术方案
使用时,存储与计算解耦,不需要仅仅为了存储扩大不必 要的计算资源 SQL MaxCompute SQL TPC-DS 100% 支持,同时语法高度兼容 Hive,有 Hive 背景开发者直接上手,特别在大数据规模下性能强大。 * 完全自主开发的 compiler,语言功能开发更灵活,迭 代快,语法语义检查更加灵活高效 * 基于代价的优化器,更智能,更强大,更适合复杂的查 询 * 基于 LLVM 的代码生成,让执行过程更高效 具或应用使用默认驱动都可以轻松地连接到 MaxCompute 项目。支持主流 BI 及 SQL 客户端工具的 连接访问,如 Tableau、帆软 BI、Navicat、SQL Workbench/J 等。 显著提升的查询性能:提升了一定数据规模下的查询性 能,查询结果秒级可见,支持 BI 分析、Ad-hoc、在线服 务等场景。 Alibaba Cloud MaxCompute 解决方案 14 Spark MaxCompute 各个 Region 的网络连通质量,以及 download/upload 的性能。 工具使用方法 Example Alibaba Cloud MaxCompute 解决方案 27 输出结果 Output: 性能测试报告 [INFO ] 2019-05-20 17:17:21.664 [main] PerformanceTester0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github 超过miss时间 未超过offline时间 UNSTABLE ONLINE OFFLINESCHEDULE Schedule(系统调度)是为了实现系统的自动容错和负载均衡,这两个功能是分布式 存储系统的核心问题,也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常(如坏盘、机器宕机)导致的数据丢失不依赖人工处理,可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、cpu0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1