基于Consul的多Beats接入管控与多ES搜索编排1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何提供方便便捷的性能分析 调优能力 … 4 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准 化、界面化、自动化的日志接入方案 5 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、 10000+业务主机、每天百T日志增量 从Consul中获取当前agent的配置组列表,并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径,实时感 知配置变化,并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑0 码力 | 23 页 | 6.65 MB | 1 年前3
TypeScript 多场景设计方案及应用实践多场景开发实践 Best practices of TypeScript and Dev in Alibaba TypeScript 陈仲寅(花名:张挺) 就职于 阿⾥里里巴巴淘宝技术部 MidwayJS 团队 zhangting@taobao.com @czy88840616 https://github.com/czy88840616 @czy88840616 MidwayJS 接⼝口时,需要写 JSDoc TS Node.js 测试靠⼈人⾁肉 Node.js Import TypeScript TS 我们都知道 TypeScript 的优势 12 3 类型描述 更更多的 Feature ⽀支持 ⾯面向接⼝口编程 TS 个⼈人开发⾯面向类型编码, 协作时⾯面向接⼝口编程 TS 开发时增加更更多接⼝口定义, 数据定义,参数定义 TS 跨协议转换 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 js/ts ⽬目录混合 TS 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 class ⽤用法,⽆无法多继承 TS 杂糅的 app/ctx 合并机制 体验不不同 Egg 解决的是 BFF 场景,⽽而淘宝有不不少全栈场景 TS 第⼀一代设计 第⼀一代设计 TS 解决复杂度问题 尝试引⼊入 IoC0 码力 | 95 页 | 8.28 MB | 1 年前3
分布式异地多活架构实践之路讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自:中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 可用性低 响应时间慢 系统扩容难 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟; 跨机房性能较慢 机房天然延迟 专线费用高; 专线不稳定 跨机房专线问题 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读)0 码力 | 36 页 | 1.66 MB | 1 年前3
开源多集群应用治理项目Clusternet 在多点生活的云原生实践陈鹏 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 多点生活 平台架构-基础架构工程师 个人简介 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 • 主导 ServiceMesh 落地相关工作 目录 多集群管理现状 Operator 迭代 反思&重构 整体架构 • 多单元 • 多集群 • 多分组 多种公有云(腾讯云、微软 云等) 核心组件-Symphony CI/CD 业务方使用 对外提供统一API 运行情况展示 应用在多集群运 行状态收集 应用维护,日志 查看,故障排查 应用发布 Operator API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能 • 结合监控,可以查看每个实例的运行情况 • 支持离线日志查看,减少对容器的理解 客户端 • CI/CD流程耦合 2019~2020 • 使用 Go 重构 CD 流程 • 多云环境适配 • Service Mesh 落地 • Multi runtime 支持 2021~ • 多商家私有云适配 • HPA 支持 • …… https://github.com/symcn/sym-ops CRD AppSet: spec: chart: "****:v1" clusterTopology:0 码力 | 22 页 | 17.18 MB | 1 年前3
Consul及Consul
Connect介紹是不是所有容器化了的微服務都能夠在同一個集群/數據中心/公有雲運帷? Hashicorp聯合創始人 Armon Dadgar Mitchell Hashimoto Co-Founders and Co-CTOs Products: Terraform, Vault, Consul, Nomad, Packer, Vagrant 公有雲出現之前的軟件網絡安全 軟體所運行在企業的數據中心中固定的服務器 軟體所運行在企業的數據中心中固定的服務器 上,由防火牆和負載均衡器保護。 軟體的網絡安全是基於IP地址和端口,以及防 火牆來控制的。 軟體網絡安全-在雲上引入微服務後 單體式軟體被分割成了小的功能模塊(可能是 容器化了的微服務),這些模塊在雲上更容易 實施也更容易擴展 但是網絡邊界怎麼辦? 零信任網絡 安全 數據加密, 認證, 授 權 ⁄ How does Consul work? Consul是什麼 完整的控制層方案,包 括: 服務發現, 服務配置, 服務網絡隔離及互聯等功能. 功能 服務註冊 對⽬前所有的服務、它們提供服務的位置以及健康 狀態進⾏集中管理 多數據中⼼ ⽀持多數據中⼼已經⾃動在多數據中⼼之間進主憊 切換 DNS Interface 通過內置的DNS功能,為傳統應⽤提供服務發現 健康檢查 通過分布式健康檢查,快速發現不健康節點及服務, 並將業務⾃動轉到健康節點0 码力 | 26 页 | 6.71 MB | 1 年前3
云时代下多数据计算引擎的设计与实现Discoveries”「数据计算,只为新发现」 为使命. • 核心团队来自于各大厂名校,有丰富的数据库(Greenplum,DB2,ClickHouse等)研发 和产业经验. • 产品 πDataCS:多计算引擎,包括自研分布式数据库PieCloudDB,自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地:IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据,多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 OpenPie Confidential JANM: 大数据计算系 统云存储底座 @2024 OpenPie. All rights reserved. OpenPie Confidential 多计算引擎 内置计算引擎 Postgres执行器 全新的向量化执行引 擎 向量数据库 单机和分布式 Spark 客户依赖 跑批任务 机器学习 …… ... 按需增加 @20240 码力 | 15 页 | 3.09 MB | 1 年前3
《深入浅出MFC》2/e刚才又把深入浅出MFC step0~step1 的程序看了一次,真的感触良多。酒越陈越香,看老 师您的书,真的是越看越「爽」,而且一定要晚上10:00 以后看,哇,那种感觉真是过瘾。 桃园Shelly 在书局看到您多本书籍,实在忍不住想告诉您我的想法!我是来谢谢您的。怎么说呢?姑且 不论英文能力,看原文书总是没有看中文书来得直接啊!您也知晓的,许多翻译书中的每个 中文字都看得懂,但是整段落就是不知他到底在说啥!因此看到书的作者是您,感觉上就是 在大陆,主要从事交换机系统软件的设计,到了美国,主要从事卫星通信地面站系统软件的 设计。程序设计主要结合C 和Assembly。在大陆,embedded system 多采用Intel 的 processor,在美国,embedded system 多采用Motorola 的processor。所以,我对Intel 8086, 8051 系列及Motorola 68000 系列的assembly 语言比较熟悉,而对framework 有一个程度的了解后再去看侯sir 写的深入 浅出MFC... 保证让你功力大增~~ Rosario.bbs@bbs.ntu.edu.tw:深入浅出MFC 这本比较好~~~不过之前最好买侯老师的多 型与虚拟拟,把C++ 弄清楚。最后看起深入Visual C++ 就会吸收很快。 请问,想要从DOS 跨足到Windows 程序设计有哪些书值得推荐呢? hschin.bbs@bbs.cs.nthu0 码力 | 1009 页 | 11.08 MB | 1 年前3
OpenShift Container Platform 4.6 网络10.5.1. 删除网络策略 10.6. 为项目定义默认网络策略 10.6.1. 为新项目修改模板 10.6.2. 在新项目模板中添加网络策略 10.7. 使用网络策略配置多租户隔离 10.7.1. 使用网络策略配置多租户隔离 10.7.2. 后续步骤 41 42 43 45 46 46 47 47 48 49 50 50 50 50 52 52 52 53 54 57 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.7.3. 其他资源 第 第 11 章 章 多网 多网络 络 11.1. 了解多网络 11.1.1. 额外网络使用场景 11.1.2. OpenShift Container Platform 中的额外网络 11.2. 配置额外网络 11.2.1. 管理额外网络的方法 7.2. 将 pod 添加到额外网络 12.7.3. 创建与 SR-IOV pod 兼容的非统一内存访问 (NUMA) 12.7.4. 其他资源 12.8. 配置高性能多播 12.8.1. 高性能多播 12.8.2. 为多播配置 SR-IOV 接口 12.9. 在 DPDK 和 RDMA 模式中使用虚拟功能(VF)的示例 12.9.1. 在 DPDK 和 RDMA 模式中使用虚拟功能(VF)的示例0 码力 | 256 页 | 2.78 MB | 1 年前3
OpenShift Container Platform 4.9 网络12.5. 编辑网络策略 12.6. 删除网络策略 12.7. 为项目定义默认网络策略 12.8. 使用网络策略配置多租户隔离 第 第 13 章 章 多网 多网络 络 13.1. 了解多网络 13.2. 配置额外网络 13.3. 关于虚拟路由和转发 13.4. 配置多网络策略 13.5. 将 POD 附加到额外网络 13.6. 从额外网络中删除 POD 13.7. 编辑额外网络 13 . . . . . . . . . . . . . . . . 14.6. 配置 SR-IOV INFINIBAND 网络附加 14.7. 将 POD 添加到额外网络 14.8. 配置高性能多播 14.9. 使用 DPDK 和 RDMA 14.10. 卸载 SR-IOV NETWORK OPERATOR 第 第 15 章 章 OPENSHIFT SDN 默 默认 认 CNI 网 网络 HTTP 代理模式部署出口路由器 POD 15.10. 以 DNS 代理模式部署出口路由器 POD 15.11. 从配置映射配置出口路由器 POD 目的地列表 15.12. 为项目启用多播 15.13. 为项目禁用多播 15.14. 使用 OPENSHIFT SDN 配置网络隔离 15.15. 配置 KUBE-PROXY 第 第 16 章 章 OVN-KUBERNETES 默 默认 认 CNI0 码力 | 388 页 | 4.04 MB | 1 年前3
开课吧基于混合云的Kubernetes平台落地实践-程亮程亮 多云多K8S多环境 程亮 • 开课吧 首席架构 技术委员会主席 • 负责公司微服务建设,多环境治理搭建,公司中长期技术规划 • 目录 2018 2019 2020 2021 K8S多环境 • 基于jenkins的传统发布 K8S多环境发布一期方案 • 一期通过K8S发布,一键master • 新增服务模版,自动生成deployment K8S多环境二期优化实战 • 一套代码,支持多种环境 一套代码,支持多种环境 • 物理隔离的多环境 • 共享资源的多环境 收益总结 • 降低服务器使用成本40% • 运维100%自动化 • 多云部署,高可用 P-1 为什么要做多云多K8S多环境 ‣ 标准的dev test pre prod环境 ‣ 存在的问题 • 标准的四套环境 DEV TEST PRE PROD • 标准的CICD流程 Developer LOCAL DEV Jenkins update • 多云多K8S多环境平台建设的初衷 多环境平台建设的初衷 01 02 03 多云多K8S多环境平台 K8S集群(多个) 管理后台 发布平台 提升资源使用率 1 多云冗余高可用 2 环境并行互不影响 3 P-2 线下多环境一期方案 ‣ 一键拉起master镜像新环境 ‣ 如何确保环境间资源互不影响 ‣ 一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境0 码力 | 22 页 | 7.42 MB | 9 月前3
共 939 条
- 1
- 2
- 3
- 4
- 5
- 6
- 94













