基于Consul的多Beats接入管控与多ES搜索编排## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 从Consul中获取当前agent的配置组列表,并启动多个采集进程 ## 配置变更感知 watch到Consul对应的agent id路径,实时感知配置变化,并对启动的进程列表做重启清理等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源  就职于 阿里巴巴淘宝技术部 MidwayJS 团队  zhangting@taobao Controller { async create() { // TODO } } module.exports = PostController; class 用法,无法多继承 ## 体验不同 Egg 解决的是 BFF 场景,而淘宝有不少全栈场景 杂糅的 app/ctx 合并机制 ## 第一代设计 ## 解决复杂问题 ## 尝试引入 IoC 解决复杂业务的问题 ## Function 2、多实现上的不一致 - 无法方便的继承 3、代码洁癖上的问题 - 编译目录分离 ## Tes ## CLASS ## 体验 ## 统一使用 class/interface 为了良好的使用 IoC,我们将整个 Midway 修改为了 OO 的模型,所有的东西都通过 class 来编码,这样也可以更好的借鉴 java 的思想,另一方面可以通过接口来解决多实现的架构。 ## ☐0 码力 | 95 页 | 8.28 MB | 2 年前3
多租户Kubernetes VM Solutions for Multi-Tenant Applications0 码力 | 33 页 | 3.34 MB | 1 年前3
分布式异地多活架构实践之路adb784517f8/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自:中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟; 跨机房性能较慢 ## 跨机房专线问题 专线费用高; 专线不稳定0 码力 | 36 页 | 1.66 MB | 2 年前3
MySQL 数据库架构灾难恢复解决方案..... ## MySQL 数据库架构 灾难恢复解决方案 MySQL InnoDB Cluster Set 介绍 MySQL SE 罗伟文 …… …… …… …… …… ## Safe Harbor Statement 以下内容旨在概述我们的一般产品方向。它仅供参考,不得纳入任何合同。它并不提供任何材料、代码或功能的承诺,不应据此做出购买决策。Oracle产品描述的任何特性或功能 个或者多个MySQL InnoDB Cluster副本连接到一个主MySQL InnoDB Cluster 高可用 (区域内的失败)  RPO = 0 RTO = 秒级 (自动故障转移) 灾难恢复(区域故障) RPO != 0 RTO = 分钟或更长时间(手动故障转移) 发生故障时可能丢失多少数据 ## 故障类型: 高可用性:单服务器故障,网络分区 灾难恢复:整个区域/网络故障 人为错误:个别表问题  ## 高可用性 - 单区域 MySQL InnoDB Cluster  RZ02 RZ02A RZ01B RZ02B • 多单元 • 多集群 • 多分组 • 多种公有云(腾讯云、微软云等) 8/p7_3.jpg) api 应用在多集群运行状态收集 应用维护,日志查看,故障排查  controller 应用发布 Operator ## API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能0 码力 | 22 页 | 17.18 MB | 1 年前3
多雲一體就是現在:
GOOGLE CLOUD 的
KUBERNETES
混合雲戰略多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com ## POSSIBLE BEGINS WITH YOU: ## 多雲一體就是現在: Google Cloud 的 Kubernetes 混合雲戰略 安玟宇 Wayne An 台灣區已經備有三個容錯區域 高效能代管式服務 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境整合,加速應用上線  ## 使用多層次的架構重塑雲端佈署  Federal _2.jpg) Greenplum Master ➢ 数据存两份,Coordinator有standby ➢ 自动同步数据 (WAL replication) ➢ 自动灾难恢复 (FTS,主备切换) ## Segment View segment host 1  Conditional Random0 码力 | 23 页 | 4.55 MB | 2 年前3
使用JDBC连接数据库## ☐ ## 使用JDBC连接数据库 北京理工大学计算机学院金旭亮 ## Java数据库应用程序全局视图 Java应用程序 JDBC数据库驱动(*.jar) JDBC规定了一整套访问数据库的标准API,所有数据库都需要实现它,因此,使用JDBC访问数据库的Java应用程序,是很容易切换底层数据库的。 ## JDBC核心类型一览表 |核心类型 (java.sql)|说明| |---|---| |Connection|与数据库建立连接| |Statement|在一个给定的连接中执行SQL语句| |PreparedStatement|用于执行预编译的SQL命令| |CallableStatement|用于调用数据库中存储过程| |ResultSet|保存SQL命令的执行结果| 上述组件是独立于底层数据库的,也就是说,只要连接上了数据库,相同的代码,就可以顺利工作..... ## JDBC访问数据库的基本步骤 JDBC访问数据库的基本步骤 加载JDBC驱动程序 创建数据库连接 执行SQL语句 接收并处理SQL的返回结果 关闭创建的各个对象 对于有可视化界面的应用程序,或者是Server端应用程序,应该在独立的线程中完成这些步骤。 出于精简学习负担的目的,我们将以SQLite为例介绍JDBC的基本使用,在此基础之上,后面选择微软的SQL Server来介绍JDBC的高级特性…… 












