## OpenPie Data Computing for New Discoveries 数据计算，只为新发现 # πDataCS 赋能工业软件创新与实践 吴疆 拓数派产品社区总监 ## CONTENTS 1 拓数派介绍 2 $ \pi $ DataCS介绍 3 $ \pi $ DataCS应用案例 4 总结 ## PART 01 拓数派介绍 ## 企业简介 拓数派中国总部与全球分支机构 GIS地理数据库等。  具备整体数据平台方案，支持多模数据处理（结构化、半结构化以及非结构化数据），实现数据共享和分析。 ![Image](/uploads/documents/0/f/3/d/0f3d1c3330c949f1bd9e8b70596a9382/p9_5 CMU战略合作大模型基础理论，训练合作一事一议 ## 阿里云 ## 腾讯云 ## 私有云 vmware openstack ## πDataCS 优势1：全面升级Hadoop大数据和Greenplum数仓至云原生数据平台 ## πDataCS 大模型数据计算系统，以云原生技术重构数据存储和计算，一份数据，多引擎数据计算。主要解决海量数据的存储和实时计算问题，具备湖仓一体化的能力，用户可根据实际情况去选择合适的数据计算引擎。

Chinese community initiator · 企业级产品与解决方案 - Compass: 打通业务与数据、从数字化到智能化转型 - Clever: 基于容器的 AI PaaS 平台（AI Devops、资源管理任务调度） State Power Grid is the state-owned power supply company in China using containers Platforms / PaaS ## 工业互联网平台 - 制造业大势所趋 • 全球工业互联网平台数量 > 150 |国家|研究内容|代表成果|政策扶持| |---|---|---|---| ||工业互联网综合平台，采用数据流打通与数据分析衍生价值 redix平台|GE联合AT&T, CISCO, IBM, INTEL等企业组建工业互联网联盟(IIC), 发布参考架构IRA.| ||基于云的开放式物联网操作系统，实现全面的系统集成和数据融合，打破数据孤岛|Mindsphere平台|德国联邦政府支持相关行业协会建设工业4

知乎基于 Kubernetes 的 Kafka 平台 探索和实践 知乎 白瑜庆 ## 自我介绍 知乎技术平台工程师 负责 Kafka 和数据库平台 曾在新浪和金山云负责镜像流量分析项目 ## 纲要 Kafka 在知乎的应用 为什么做基于 Kubernetes 的 Kafka 平台 基于 Kubernetes 的 Kafka 平台实践 ## Apache Kafka Producer 分布式的流式数据平台 高吞吐 容错性 Producer Topic Topic Topic Consumer ## Kafka 在知乎的应用 平台承载知乎业务日志、数据传输和消息队列服务 平台线上稳定运行 基于 Kubernetes 的 Kafka 集群 13 个，1000+ Topic 知乎技术平台重要的组件 ## 平台概览 · 多集群 · 高可用 平台 API Kafka 其他信息，例如集群信息  ## 磁盘调度器 平台 API 按照调度算法选择节点 创建 ReplicationController 监听 Kubernetes 状态更新磁盘信息 API scheduler Handler ![Imag

## 并行不悖 – OLAP 在互联网公司的实践与思考 ## 赵飞祥 一 数据仓库体系架构 二 Greenplum体系架构 三 Greenplum现状说明 四 Greenplum运维体系 五 Greenplum开发规范 六 Greenplum扩展规划 ## 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） “现在”的数据 —— OLTP “过去”的数据 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 · 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台 ## 数据仓库体系架构 ## 数据架构示意图 ## OLAP体系架构示意图 业务数据源端：OLTP环境 csv文件 数据展示端： Mis界面访问系统 图形化展示 OLAP数据统一入口 segment数据节点 ## Greenplum现状说明 ## 三 大Greenplum集群关系 · 数据来源不同 · 数据处理不同 • 时效速度不同 • 体系架构相同 · 年表划分相同 · 平台整体定位 · 定位不同，多集群配合形成逻辑大集群 ## Greenplum现状说明 ## Greenplum多层业务规划图 系统用户 数据可视化 固定报表 统计系统 数据分析 数据接口区

NODE_MODULE_VERSION和node版本对应关系 1.7.5.2 附录 1.8 文档和教程 1.8.1 参考资料 1.8.2 ## 跨平台桌面应用框架：Electron 最新版本：v1.0 • 更新时间：20200808 ## 简介 介绍跨平台桌面应用框架Electron的基本概念、基本原理、核心优势以及额外特性；介绍了用Electron开发出的常见应用有哪些；解释了如何安装Elec ork_electron: 跨平台桌面应用框架：Electron 如何使用此Gitbook源码去生成发布为电子书 详见：crifan/gitbook template: demo how to use crifan gitbook template and demo ## 在线浏览 跨平台桌面应用框架：Electron book.crifan.com 跨平台桌面应用框架：Electron 跨平台桌面应用框架：Electron crifan.github.io ## 离线下载阅读 跨平台桌面应用框架：Electron PDF • 跨平台桌面应用框架：Electron ePub 跨平台桌面应用框架：Electron Mobi ## 版权说明 此电子书教程的全部内容，如无特别说明，均为本人原创和整理。其中部分内容参考自网络，均已备注了出处。如有发现侵犯您版权，请通过邮箱联系我 admin 艾特 crifan.com，我会尽快删除。谢谢合作。

云原生 DevOps 平台 ZADIG 产品介绍 ## 基本信息 ## 01 公司介绍 KodeRover 是国内云原生 DevOps 领域的领军企业，帮助企业提升产研工程化水平，加速产业数字化进程，快速响应市场需求。核心团队由国内外云计算、DevOps、工程运筹学领域专家组成，已连续完成由盈动和经纬领投的天使轮/PreA 轮融资。公司旗舰产品云原生 DevOps 平台 Zadig 正成为软 正成为软件研发的新标配，软件交付领域的规则制定者，开启了软件交付 3.0 时代。 ## 02 产品介绍 公司自主研发的旗舰产品 Zadig 在 GitHub 上核心开源，用平台工程支撑软件研发全生命周期，让产研高效协同，稳定迭代。Zadig 内置了 K8s YAML、Helm Chart、主机等复杂场景最佳实践，适用云原生转型/上容器云、研发效能提升、大规模微服务环境治理、研发数字化转型等应用场景，在 [Image](/uploads/documents/8/5/1/7/851750993b5bfd7d4ea618897aa14c91/p2_1.jpg) ## Zadig 理念 & 应用 ## 一 体化平台帮助企业实现产研全域过程数据互通、软件质量透明、角色价值可评估 开发 数字孤岛 ![Image](/uploads/documents/8/5/1/7/851750993b5bfd7d4ea618897aa14c91/p3_1

## caicloud 才云 ## 基于 KUBERNETES 的 容器 + AI 平台 如何助力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D ## 提纲 构建集群与管理资源 - 73s 视频演示 - 多集群和镜像仓库 - 多租户和旧系统的集成 运行和构建应用 Rudder - 应用编排技术框架 • Cyclone - 持续集成与交付引擎 Spec (CRD) - 跟踪 TensorFlow 任务运行状态 - 支持分布式 TensorFlow 任务 Kubeflow KubeFlow ## KUBEFLOW 之上 - 借力容器平台提供生产级的集群资源管理 工作区隔离与共享 数据、模型、环境、应用等 - 全面支持 AI 工作流 • 探索开发 ![Image](/uploads/documents/a/3/f/7/a3

零散，不成体系 03  ## 平台化 多个工具集成 最佳搭配 合力作战  [Image](/uploads/documents/c/7/8/d/c78d3fdb7c47df2067212bb8ce122cd1/p6_1.jpg) 自服务平台 高效协作，加速迭代 ## 背景和挑战 · 容器之道 简单 快速 隔离 移植 加速交付 节约资源 统一规范 构建平台 Lenovo $ ^{TM} $ ## 企业级容器云设计与思考 · 设计思路 从成本方面衡量 资源利用率，人力成本，投入产出比 1 2 3 跨数据中心 技术和管理难度大 混合基础架构 物理机，VMWare，OpenStack，AWS，Azure 统一用户体验 多集群统一管理，无需切换平台系统 ## 容器云设计--多集群支持的容器云 ·多集群，一平台  ##

## MeterSphere 一站式开源持续测试平台 2023 年 9 月 持续测试的兴起与现状 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 ## 持续测试是持续交付发展的必然需求 ## 持续交付能力是企业核心竞争力 保证业务足够稳 ## 持续测试能力保障业务足够可靠 ## 催生 保证交付足够快  建设测试平台，提升测试整体的吞吐量 从系统角色的角度来看，下游的生产力决定上游的生产速度。通过测试平台的建设，最终推动研发效能的提升。 持续测试的兴起与现状 持续测试的兴起与现状 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 ## MeterSphere 的使命 MeterSphere 是一站式的开源持续测试平台，遵循 GPL v3 开源许可协议，涵盖测试管理、接口测试、UI 测试和性能测试等功能，全面兼容 JMeter、Selenium 等主流开源标准，有效助力开发和测试团队充分利用云弹性进行高度可扩展的自动化测试，加速高质量的软件交付。

## Greenplum 6: 负载的理想数据平台 高小明  ## Pivotal Greenplum $ ^{®} $ 全球领先的开源MPP大数据平台 的锁冲突 避免显式只读事务(BEGIN-SELECT-END)的两阶段提交（开发中） fastpath锁(PostgreSQL合并) ## TPC-B基准测试:环境 基于谷歌云平台(Google Cloud Platform, 简称GCP)，为5个虚拟主机的集群，包含一个master主机和四个segment主机，master和segment虚拟主机的配置信息如下 CPU核数168内存大小(GB)6030CPU平台Intel Haswell存储类型SSD persistent disk

0 码力 | 52 页 | 4.48 MB | 2 年前

3