基于Consul的多Beats接入管控与多ES搜索编排## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 从Consul中获取当前agent的配置组列表,并启动多个采集进程 ## 配置变更感知 watch到Consul对应的agent id路径,实时感知配置变化,并对启动的进程列表做重启清理等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源  就职于 阿里巴巴淘宝技术部 MidwayJS 团队  zhangting@taobao Controller { async create() { // TODO } } module.exports = PostController; class 用法,无法多继承 ## 体验不同 Egg 解决的是 BFF 场景,而淘宝有不少全栈场景 杂糅的 app/ctx 合并机制 ## 第一代设计 ## 解决复杂问题 ## 尝试引入 IoC 解决复杂业务的问题 ## Function 2、多实现上的不一致 - 无法方便的继承 3、代码洁癖上的问题 - 编译目录分离 ## Tes ## CLASS ## 体验 ## 统一使用 class/interface 为了良好的使用 IoC,我们将整个 Midway 修改为了 OO 的模型,所有的东西都通过 class 来编码,这样也可以更好的借鉴 java 的思想,另一方面可以通过接口来解决多实现的架构。 ## ☐0 码力 | 95 页 | 8.28 MB | 2 年前3
多租户Kubernetes VM Solutions for Multi-Tenant Applications0 码力 | 33 页 | 3.34 MB | 1 年前3
分布式异地多活架构实践之路adb784517f8/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自:中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟; 跨机房性能较慢 ## 跨机房专线问题 专线费用高; 专线不稳定0 码力 | 36 页 | 1.66 MB | 2 年前3
开源多集群应用治理项目Clusternet 在多点生活的云原生实践Days ## 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 ## 个人简介 ## 手 Kubernetes Community Days 陈鹏 多点生活 平台架构-基础架构工程师 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 主导 ServiceMesh 落地相关工作 ## 目录 多集群管理现状 Operator 迭代 反思&重构 ## 多集群管理现状 ## 整体架构 GZ01A GZ01B GZ01C RZ01 RZ01A  RZ02 RZ02A RZ01B RZ02B • 多单元 • 多集群 • 多分组 • 多种公有云(腾讯云、微软云等) 8/p7_3.jpg) api 应用在多集群运行状态收集 应用维护,日志查看,故障排查  controller 应用发布 Operator ## API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能0 码力 | 22 页 | 17.18 MB | 1 年前3
FISCO BCOS 2.4.0 中文文档是一个稳定、高效、安全的区块链底层平台,经过多家机构、多个应用,长时间在生产环境运行的实际检验。 • Github主页 · 深度解析系列文章 · 贡献代码 · 反馈问题 • 应用案例集 · 微信群 公众号 ## 概览 - 基于FISCO BCOS 2.0+快速构建区块链系统,请参考安装 · 基于FISCO BCOS 2.0+部署多群组区块链、构建第一个区块链应用,请参考教程 - SDK:提供访问节点状态、修改区块链系统配置以及节点发送交易等接口。 · 浏览器详细介绍请参考 浏览器 • JSON-RPC接口可参考 JSON-RPC API · 系统设计文档请参考 系统设计 ## 关键特性 · 多群组:教程 使用手册 设计文档 · 并行计算:使用手册 设计文档 - 分布式存储: 使用手册 设计文档 ## 重要: • 本技术文档只适用FISCO BCOS 2.0+,FISCO BCOS 1 FISCO BCOS是由国内企业主导研发、对外开源、安全可控的企业级金融联盟链底层平台,由金链盟开源工作组协作打造,并于2017年正式对外开源。 社区以开源链接多方,目前,汇聚了超500家企业及机构、逾万名社区成员参与共建共治,发展成为最大最活跃的国产开源联盟链生态圈。底层平台可用性经广泛应用实践检验,数百个应用项目基于FISCO BCOS底层平台研发,超60个已在生产环境中稳定运行,覆盖文化0 码力 | 470 页 | 7.45 MB | 2 年前3
多雲一體就是現在:
GOOGLE CLOUD 的
KUBERNETES
混合雲戰略多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com ## POSSIBLE BEGINS WITH YOU: ## 多雲一體就是現在: Google Cloud 的 Kubernetes 混合雲戰略 安玟宇 Wayne An 台灣區已經備有三個容錯區域 高效能代管式服務 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境整合,加速應用上線  ## 使用多層次的架構重塑雲端佈署 












