基于Consul的多Beats接入管控与多ES搜索编排## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 从Consul中获取当前agent的配置组列表,并启动多个采集进程 ## 配置变更感知 watch到Consul对应的agent id路径,实时感知配置变化,并对启动的进程列表做重启清理等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源  QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自:中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟; 跨机房性能较慢 ## 跨机房专线问题 专线费用高; 专线不稳定0 码力 | 36 页 | 1.66 MB | 2 年前3
TypeScript 多场景设计方案及应用实践## TypeScript 多场景开发实践 Best practices of TypeScript and Dev in Alibaba ## 陈仲寅(花名:张挺) 就职于 阿里巴巴淘宝技术部 MidwayJS 团队  zhangting@taobao Controller { async create() { // TODO } } module.exports = PostController; class 用法,无法多继承 ## 体验不同 Egg 解决的是 BFF 场景,而淘宝有不少全栈场景 杂糅的 app/ctx 合并机制 ## 第一代设计 ## 解决复杂问题 ## 尝试引入 IoC 解决复杂业务的问题 ## Function 2、多实现上的不一致 - 无法方便的继承 3、代码洁癖上的问题 - 编译目录分离 ## Tes ## CLASS ## 体验 ## 统一使用 class/interface 为了良好的使用 IoC,我们将整个 Midway 修改为了 OO 的模型,所有的东西都通过 class 来编码,这样也可以更好的借鉴 java 的思想,另一方面可以通过接口来解决多实现的架构。 ## ☐0 码力 | 95 页 | 8.28 MB | 2 年前3
多租户Kubernetes VM Solutions for Multi-Tenant Applications0 码力 | 33 页 | 3.34 MB | 2 年前3
《基于云平台的-Docker-多租户安全》QCon[上海站] 全球软件开发大会2016 基于云平台的 Docker多租户安全 SPEAKER 汤志敏 ’ alt=‘OCR图片’/> 关注InfoQ官方信息及时获取QCon软件开发者大会演讲视频信息 [北京站] 2016年12月2日-3日 咨询热线:010-89880682 QCon全球软件开发大会 [北京站] 2017年4月16日-18日 咨询热线:010-64738142 目录 glibc 漏洞需要Docker镜像升级 2016年5月 2375端口? 公网暴露Daemon2375端口 ’ alt=‘OCR图片’/> 2. 云端Docker应用的安全挑战 应用数爆炸 镜像来源多 应用生命周期更短 应用更动态,跨云迁移 ’ alt=‘OCR图片’/> 3. 从安全的角度如何设计容器化应用 云平台安全 镜像安全 运行时安全 安全合规 3. 从安全的角度如何设计容器化应用 ’ Notary(The Update Framework) Docker Content Trust(Docker 1.8) ’ alt=‘OCR图片’/> 3.2.3 镜像配置安全 数据库连接串、证书尽量不要保存在镜像或环境变量 THE TWELVE FACTORS I. Codebase One codebase tracked in revision control, many deploys0 码力 | 36 页 | 6.00 MB | 1 月前3
MySQL 数据库架构灾难恢复解决方案..... ## MySQL 数据库架构 灾难恢复解决方案 MySQL InnoDB Cluster Set 介绍 MySQL SE 罗伟文 …… …… …… …… …… ## Safe Harbor Statement 以下内容旨在概述我们的一般产品方向。它仅供参考,不得纳入任何合同。它并不提供任何材料、代码或功能的承诺,不应据此做出购买决策。Oracle产品描述的任何特性或功能 个或者多个MySQL InnoDB Cluster副本连接到一个主MySQL InnoDB Cluster 高可用 (区域内的失败)  RPO = 0 RTO = 秒级 (自动故障转移) 灾难恢复(区域故障) RPO != 0 RTO = 分钟或更长时间(手动故障转移) 发生故障时可能丢失多少数据 ## 故障类型: 高可用性:单服务器故障,网络分区 灾难恢复:整个区域/网络故障 人为错误:个别表问题  ## 高可用性 - 单区域 MySQL InnoDB Cluster  RZ02 RZ02A RZ01B RZ02B • 多单元 • 多集群 • 多分组 • 多种公有云(腾讯云、微软云等) 8/p7_3.jpg) api 应用在多集群运行状态收集 应用维护,日志查看,故障排查  controller 应用发布 Operator ## API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能0 码力 | 22 页 | 17.18 MB | 2 年前3
多雲一體就是現在:
GOOGLE CLOUD 的
KUBERNETES
混合雲戰略多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com ## POSSIBLE BEGINS WITH YOU: ## 多雲一體就是現在: Google Cloud 的 Kubernetes 混合雲戰略 安玟宇 Wayne An 台灣區已經備有三個容錯區域 高效能代管式服務 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境整合,加速應用上線  ## 使用多層次的架構重塑雲端佈署  张颖峰 英飞流(上海)信息科技有限公司创始人  RAG技术实践 01 Infinity系统架构 02 ## 第一部分 RAG技术实践 ## 基于向量数据库的RAG解决方案 文档 文本块 LLM  提示词 ## LLM对企业信息架构的改变  网站  数据库  文档 












