Hadoop 3.0以及未来### Hadoop 3.0以及未来 刘轶 ## 自我简介 • Apache Hadoop的committer和项目管理委员会成员。 • ebay的Paid IM(互联网市场)部门架构师,领导ebay产品广告、互联网市场数据和实验平台的架构设计。负责领导使用Hadoop、Spark、Kafka、Cassandra等开源大数据项目建立ebay的广告和数据平台。 • 加入ebay前,在inte 7a4e6/p3_1.jpg) ## 概要 • Hadoop的历史 • Hadoop 3介绍 ■ Common ■ HDFS ■ YARN ■ MapReduce • Hadoop的未来发展方向 ## Hadoop的历史  ## collector的Native实现,对于shuffle密集型的task能带来30%的性能提升。 ## Hadoop 的未来 ## HDFS的未来 • 对象存储 - HDFS-7240 • 更高性能的Namenode:更高效的内存使用,锁的改进等 • Erasure Coding的完善 ## YARN的未来 • 更大规模的集群支持 • 更好的资源调度,隔离和多租户 • 支持更多的应用,包括long running的service0 码力 | 33 页 | 841.56 KB | 2 年前3
Red Hat OpenShift Data Foundation 4.12 规划部署# Red Hat OpenShift Data Foundation 4.12 ## 规划部署 部署 Red Hat OpenShift Data Foundation 4.12 时的重要注意事项 100% FREE! 部署 Red Hat OpenShift Data Foundation 4.12 时的重要注意事项 ## 法律通告 Copyright $ \copyright $ 2023 the OpenStack community. All other trademarks are the property of their respective owners. ## 摘要 有关规划 Red Hat OpenShift Data Foundation 部署时的重要注意事项,请参阅本文档。 ## 目录 使开源包含更多 ..... 3 对红帽文档提供反馈 ..... 4 第1章 对于额外的设备集,在三个故障域中必须有一个存储设备和消耗它的 pod 的充足资源。可以使用手动放置规则覆盖默认放置规则,但这种方法通常仅适用于裸机部署。 #### 7.5. 存储设备要求 使用本节了解在规划内部模式部署和升级时可以考虑的不同存储容量要求。我们通常建议每个节点9个设备或更少。本建议可确保节点保持低于云供应商动态存储设备附加限制,以及限制使用本地存储设备的节点故障后恢复时间。以三个节点(每0 码力 | 37 页 | 620.41 KB | 2 年前3
探索Vue的⾼高级应⽤用## 探索Vue的高级应用 Ant Design Vue 里的那些“黑科技” 唐金州 搜狗、蚂蚁金服、一点资讯 Ant Design Vue的诞生 遇到的问题及解决方案 现状及未来规划 ## Ant Design Vue的诞生 ## Why ## 入坑 ## How 不要怂 就是干 站在巨人的肩膀上 UI=fn(state) ## 脚本转换 属性声明\传递、状态声明 方法 or 731e0891195/p22_1.jpg) ## 特色 受控/非受控组件 基于组件的国际化配置(36种语言包) 共享Antd设计资源(Sketch、Axure等) 一致的API ## 未来规划 提升单测覆盖率 TypeScript支持 周边生态建设 性能优化 ## 总结 ## 姿(zhi)势(shi)很重要 ## Q&A0 码力 | 26 页 | 1.38 MB | 2 年前3
Apache Flink的过去、现在和未来## 阿里云 ## Apache Flink的过去、现在和未来 杨克特(鲁尼) 阿里巴巴高级技术专家 ## 过去 ## 一 切从2014年开始  StratoSphere Above the Clouds  ## 技术架构快速规划与落地 沈剑 58集团技术专场 ## 关于我 • “架构师之路” 作者 Baidu百度高级工程师 58同城 技术委员会主席、高级架构师、技术学院优秀讲师 58到家 技术委员会主席、技术总监 一、初创公司技术架构体系建设 常见问题 ## 初创公司技术体系常见问题 体系割裂 系统耦合 DB耦合 × 出问题不知道 查问题麻烦 定位问题周期长 一团麻 资源 没人 ## 二、258到家 技术体系快速规划与 悠享生活之美 落地实践 ### 1. 服务化-服务化之前高可用架构 ## • 服务化前系统架构 (1) 端 (2) 反向代理 (3) 应用 (4) 数据  ## Serverless:关注应用而非基础设施 敏捷开发 极致弹性 成本优化 无需购买和安装机器 • “无限” • 30s 500pod • 非预期突发流量 • 免运维 - 适用电商、在线教育等行业 - 高弹性 • 低成本 • Spark / Presto • 高弹性低成本 • 免容量规划 • Jenkins/Gitlab-Runner • 低成本 • 强隔离 ## Serverless Kubernetes - 在Kubernetes中使用Serverless容器 Kubernetes ECI ECS ECS ECI ECS ECI ECS 物理机 ECI ECI ECS ECS ECI ECI 物理机 ECS ECS ## Serverless容器未来挑战 启动效率 SLO弹性 并发创建 部署密度 ## 咨询和答疑 给定路线预估行驶时间 ’ alt=‘OCR图片’/> ’ alt=‘OCR图片’/> 大纲 Who’s Grab 团队角色 路径规划和ETA引擎的构建和演进 Go in Grab ’ alt=‘OCR图片’/> 路径规划和ETA引擎的构建和演进 ’ alt=‘OCR图片’/> 技术选型-概率vs路网 ’ alt=‘OCR图片’/> 路径规划和ETA引擎的构建和演进 地图 司机定位 路况 图搜索 ETA模型调优0 码力 | 50 页 | 43.76 MB | 1 月前3
Web的未来
新技术和新语言带来的改变## Web的未来 ## 新技术和新语言带来的改变 韩国恺 hanguokai@gmail.com 开发者9Y⁺ 技术爱好者 Google fans 学习 动漫、电影 健身 DART 韩国恺 上网 @hanguokai  开发中还有许多问题有待解决  ## 挫折禁止 ## 未来的方向?  ## Chrome OS 和0 码力 | 91 页 | 3.44 MB | 2 年前3
TiDB 实践 HTAP 的架构进展和未来展望-韦万0 码力 | 32 页 | 6.61 MB | 2 年前3
QCon北京2018-《未来都市--智慧城市与基于深度学习的机器视觉》-陈宇恒QCon BEIJING 2018 # 未来都市 - 智慧城市与基于深度学习的 机器视觉 演讲者 / 陈宇恒 主办方 Geekbang > InfoQ 极客邦科技  ## 基于实践经验总结和提炼的品牌专栏 尽在【极客时间】0 码力 | 23 页 | 9.26 MB | 2 年前3
共 797 条
- 1
- 2
- 3
- 4
- 5
- 6
- 80
相关搜索词
Hadoop 3.0HDFSYARNMapReduceNamenodeRed Hat OpenShift Data FoundationOperator存储集群内部方法外部方法Ant Design Vue高级应用黑科技问题及解决方案现状及未来规划Apache Flink流处理批处理分布式流数据处理实时计算服务化监控平台调用链跟踪服务治理立体化监控Serverless KubernetesKubernetes容器ECIASK路径规划ETA引擎图搜索算法DijkstraEncoded Polyline Algorithm FormatWeb ComponentsDartPolymer 库TypeScriptGWTHTAPTiDBOLAPOLTPTPCH智慧城市机器视觉深度学习大规模深度学习城市级AI+智慧城市系统













