Go 构建大型开源分布式数据库技术内幕
Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库? 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL Processing) ● 24/7 availability, even in case of datacenter outages ● Open source, of course 如何构建分布式数据库? 原则 ● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV Metadata / Timestamp request Stateless SQL Layer Distributed Storage Layer gRPC gRPC gRPC 数据分片 ● Hash Based Partition ○ Redis ○ 不利于范围 Scan ● Range Based Partition ○ Hbase ○ Range 需要足够大且足够小0 码力 | 44 页 | 649.68 KB | 1 年前3可视化学习 Go 并发编程
可视化学习 Go 并发编程 2017.8.5 黄庆兵 - 网易 bingohuang.com 并发 简单来说,并发是一种构造程序的方式 Concurrency is not Parallelism Slide (http://talks.golang.org/2012/waza.slide) 1. 并发很强大 2. 并发帮助实现并行,使并行(扩展等)变得容易 3. 并发不是并行 并发不是并行,并发重点是架构,并行重点是执行,两者不同,但相关。 04:22 / 31:21 可视化 并发(Concurrency) & 并行(Parallelism) 一图胜千言! 并行(PARALLELISM) 这是并行 (/2017/go-concurrency-visualize/parallelism.html) 并发(CONCURRENCY) 这是并发 (/2017/go-concu 让并发编程变的简单起来 但是问题来了 我们怎样去讲解 Go 的并发? 我们怎样思考 Go 的并发过程? 最终,我们怎样更好的实践 Go 并发编程? 祭出法宝 - GoTrace 一种将 Go 并发过程可视化的开源 (https://github.com/divan/gotrace) 工具 出自 divan (https://github.com/divan) 大神,主要包含两个程序: gotrace(go):分析0 码力 | 29 页 | 1.48 MB | 1 年前31_丁来强_开源AIOps数据中台搭建与Python的作用
开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年,熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人,之前在Splunk上海海 • ⾃自从2015年年,在4届PyCon上,累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告,AIOps将在未来5-10年年落地开花,并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高: • 架构演变:SaaS、多云、容器器、微服务等 • 数据孤岛越来越多:⼤大数据的3V(容量量、变化、种类) • 成本越来越⾼高: Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维: • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner:AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据(以下各种⻆角⾊色都关⼼心): • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年:0 码力 | 48 页 | 17.54 MB | 1 年前3走进开源 - Apache ServiceComb
走进开源 - Apache ServiceComb [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 议程 • 什么是开源 • 开源开发是什么状态 • 如何参与开源 [社区网站] http://servicecomb.apache.org [Github ] q=servicecomb 软件发展史 开源软件 自由软件 商业软件 [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 一种思想运动 用户可以自由地运行,拷贝,分 发,学习,修改并改进该软件 一旦在该软件基础上修改,则必 须保证修改后的软件也“自由” 开源发展第一阶段 [社区网站] 自由软件和商业软件 之间的折中 遵循版权前提下,可以自由访问、使 用、改变和共享,也可用做商用目的 开源发展第二阶段 [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 开源发展第三阶段 [社区网站] http://servicecomb.apache.org [Github0 码力 | 28 页 | 1.92 MB | 1 年前3Apache ServiceComb 开源微服务社区
Apache ServiceComb 开源微服务社区 • 注册在美国的非盈利组织 • 提供法律和基础设施的支持 • 完全的自愿组织,虚拟的全球化组织 • 有6600+ committers, 580+ member • 350+ 开源项目, 50+ 正在孵化的项目 • 组织前身是 1996年成立的 Apache Group • ASF成立于 1999年 贡献者 Committer Apache软件基金会 LC3大会 正式开源 2017.06 2017.11 2018.10 捐赠给Apache 进入孵化器 成为Apache 顶级项目 首个Apache微服务顶级项目 提供一站式的微服务开源解决方案,致力于帮助企业、用户和开发 者将应用轻松微服务化上云,实现对微服务应用的高效运维管理 华为开始实践 微服务 2012年 2019 • 2018 OSCAR尖峰开源技术创新奖 • 2018 2018 COSCL首届中国优秀开源项目一等奖 • 2019 首个行业微服务标准的核心参考框架 携手解决 微服务痛点 原则 • 中立 • 开放 • 标准化 • 无商业Lock-in • 社区健康发展 ServiceComb 首个Apache微服务顶级项目 Java微服务框架: https://github.com/apache/servicecomb-java-chassis0 码力 | 15 页 | 2.86 MB | 1 年前3领域驱动设计&中台/可视化的遗留系统微服务改造
引⾔言 02 可视化的认识遗留留系统 03 可视化的划分遗留留系统 04 可视化的拆解遗留留系统 引⾔言 遗留留系统、微服务架构 任何⼈人类的设计都会腐化 软件当然也不不例例外 拆成微服务 微服务架构的九⼤大特征 •通过服务进⾏行行组件化 •围绕业务能⼒力力组织 •做产品⽽而不不是做项⽬目 •智能端点与傻⽠瓜管道 •去中⼼心化地治理理技术 •去中⼼心化地管理理数据 •基础设施⾃自动化 •容错设计 •演进式设计 可视化能帮我们什什么 掌握系统业务 明确系统边界 ⼩小步改造系统 可视化的认识遗留留系统 C4模型、⽤用户画像、⽤用户旅程 C4模型系统架构可视化 国家级 省级 道路路级 市级 C4模型系统架构可视化 系统上 下⽂文图 容器器图 代码图 组件图 已可视化 ⽤用户画像和旅程系统功能⽤用户可视化 ⽤用户画像 ⽤用户旅程 已可视化 突出⽤用户信息,诉求和价值体现 突出⽤用户信息,诉求和价值体现 还原业务场景 可视化的划分遗留留系统 领域驱动设计、事件⻛风暴暴⼯工作坊、服务画布 好的设计 低耦合 如果做到了了服务之间的松耦 合,那么修改⼀一个服务就不不 需要修改另⼀一个服务。⼀一个 松耦合的服务应该尽可能少 地知道与之协作的那些服务 的信息。 ⾼高内聚 就是把相关的⾏行行为聚 集在⼀一起,把不不相关 的⾏行行为放在别处。如 果你要修改某个服务 的⾏行行为,最好只在⼀一0 码力 | 54 页 | 3.85 MB | 1 年前3202309 MeterSphere ⼀站式开源持续测试平台
⼀站式开源持续测试平台 2023 年 9 ⽉ 1 2 持续测试的兴起与现状 3 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 持续测试是持续交付发展的必然需求 持续交付可以降低发布⻛险,提⾼可靠性,使 软件能够根据⽤户反馈、市场变化和企业战略 变更不断进⾏调整。 持续交付能⼒是企业核⼼竞争⼒ 持续测试能⼒保障业务⾜够可靠 持续测试是执⾏⾃动化测试的过程,作为软件 图⽚来源:《持续交付 2.0》 造成测试阻塞的三个⽅⾯ 测试平台是提⾼⽣产能效最⾼效⽅法之⼀ 开发中 等待测试 测试中 建设测试平台,提升测试整体的吞吐量 测试跟踪 测试计划 测试环境 测试数据 测试资源 API 项⽬ 管理 ⼈员 管理 接⼝ 测试 功能 测试 性能 测试 UI 测试 其他 测试 从系统⻆⾊的⻆度来看,下游的 ⽣产⼒决定上游的⽣产速度。通 过测试平台的建设,最终推动研 MeterSphere 的使命 MeterSphere 是⼀站式的开源持续测试平台,遵循 GPL v3 开源许可协议,涵盖测试 管理、接⼝测试、UI 测试和性能测试等功能,全⾯兼容 JMeter、Selenium 等主流开 源标准,有效助⼒开发和测试团队充分利⽤云弹性进⾏⾼度可扩展的⾃动化测试,加 速⾼质量的软件交付。 ⼴受欢迎的开源项⽬ Star 10,000 + • 累计下载次数 180,0000 码力 | 45 页 | 4.65 MB | 1 年前3ServiceComb 开源微服务框架技术演进之路 巨震
ServiceComb 开源微服务框架技术演进之路 巨震 软件工程师,华为 • 服务形态演进 • 基于SDK的传统微服务框架 • 何为Service Mesh • 演进:从SDK到Service Mesh • 拥抱Service Mesh开源生态 • 相关资源 #微服务 #Service Mesh #Sidecar #云原生 #SDK #数据面,控制面 Huawei APM Control Plane Service Center Config Center Istio Apollo Huawei CSE 拥抱Istio开源生态 • Envoy Sidecar替换方案 • Go SDK接入Istio • 网络代理替代Iptables流量劫持 • Handler chain接入不同生态,不依赖Mixer 无商业强绑定,高自由度,企业自主可控 • 完整的生态栈,涵盖开源主流微服务运维和安全领域 • 低学习成本,有编程语言基础即可快速上手 华为开源 ServiceMesh方案 Mesher ServiceCenter Java-chassis ServiceComb Pilot Citadel Istio ServiceComb开源生态 Zipkin Prometheus0 码力 | 20 页 | 861.58 KB | 1 年前3go-zero开源项目的成长史
万俊峰Kevin go-zero 开源项⽬成⻓史 About me • go-zero 作者 • 阿⾥云MVP • 腾讯云TVP • ArchSummit 明星讲师 • GopherChina 主持⼈&⾦牌讲师 • 极客时间 Go 专题出品⼈ • 腾讯云开发者⼤会讲师 TOC ● go-zero 的由来 ● go-zero 的现状 ● go-zero 的成⻓阶段 ● go-zero go-zero 的现状 • star 增⻓趋势 • contributors • ⽤户 • 社区⽤户 • 企业⽤户 • 质量标准 • 需求 • PR 标准 go-zero 数据统计 star 增⻓趋势 Contributors 社区⽤户 企业⽤户 代码质量 功能评估 & 代码合并 • 功能评估 • 如⾮必要,勿增实体 • MVP,最⼩化接⼝ • 社区需求驱动 两年两万星 • 第三个年头 go-zero 开源伊始 • 开源 ≠ 代码提交到 GitHub • 规划发展路线 • 梳理推⼴思路 • 找渠道、建社区 • 分析⽤户 go-zero 开源伊始 • 定⽬标 • 找渠道 • 建社区 • 有数据驱动的思维 • 分析渠道 • 分析⽤户 • 分析ROI go-zero 开源伊始 • 技术分享 • GoCN0 码力 | 31 页 | 4.83 MB | 9 月前3开源开发者的一天 - Apache ServiceComb
开源开发者的一天 - Apache ServiceComb [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 议程 • 什么是开源 • 开源开发是什么状态 • 如何加入到开源社区 [社区网站] http://servicecomb.apache.org [Github 软件发展史 商业软件 自由软件 开源软件 [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 一种思想运动 用户可以自由地运行,拷贝,分 发,学习,修改并改进该软件 一旦在该软件基础上修改,则必 须保证修改后的软件也“自由” 开源发展第一阶段 [社区网站] http://servicecomb 自由软件和商业软件 之间的折中 遵循版权前提下,可以自由访问、使 用、改变和共享,也可用做商用目的 开源发展第二阶段 [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 开源发展第三阶段 [社区网站] http://servicecomb.apache.org [Github0 码力 | 31 页 | 2.02 MB | 1 年前3
共 704 条
- 1
- 2
- 3
- 4
- 5
- 6
- 71