基于Consul的多Beats接入管控与多ES搜索编排## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理,多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入? 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 从Consul中获取当前agent的配置组列表,并启动多个采集进程 ## 配置变更感知 watch到Consul对应的agent id路径,实时感知配置变化,并对启动的进程列表做重启清理等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源  ; 另一方面,库的用户知道怎样处理这些错误,但却无法检查它们何时发生(如果能 检测,就可以再用户的代码里处理了,不用留给库去发现)。 ## 提供异常处理机制的基本思想 让一个函数在发现了自己无法处理的错误时抛出(throw)一个异常,然后它的(直接或者间接)调用者能够处理这个问题。 ## 《C++ primer》 将问题检测和问题处理相分离。 (Exceptions let us separate problem detection from problem resolution0 码力 | 33 页 | 626.40 KB | 2 年前3
httpd 2.4.16 中文文档编译与安装 启动 停止与重启 配置指令 指令快速参考 模块 多处理模块(MPM) 过滤器 处理器 表达式解析器 服务器与支持程序 术语 平台相关说明 Microsoft Windows Novell NetWare EBCDIC 系统 其它主题 常见问题 网站导航 开发文档 其它说明 维基 模块 | 指令 | 常见问题 | 术语 | 网站导航 Apache HTTP now be built as loadable modules at compile time. The MPM of choice can be configured at run time via LoadModule directive.| |Event MPM| |The Event MPM is no longer experimental but is now fully supported 32-bit Unix systems. Support for handling >2GB request bodies has also been added. ## Event MPM The event MPM uses a separate thread to handle Keep Alive requests and accepting connections. Keep Alive0 码力 | 2438 页 | 1.87 MB | 1 年前3
通过Oracle 并行处理集成 Hadoop 数据Oracle 白皮书 2011年1月 通过 Oracle 并行处理集成 Hadoop 数据 ## 引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的明细信息,以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据存储在数据库之外,但一些客户仍然希望将其与数据库中的数据整合在一起以提取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 动直接访问 HDFS 文件。FUSE(File System in Userspace)项目针对这种情况提供了解决方法。有多种 FUSE 驱动程序支持用户挂载 HDFS 存储,并将其作为常规文件系统处理。通过使用一个此类驱动程序,并在数据库实例上挂载 HDFS(如果是 RAC 数据库,则在其所有实例上挂载 HDFS),即可使用外部表基础架构轻松访问 HDFS 文件。  图 2. 利用表函数进行并行处理 由于表函数可以并行运行,Hadoop 流作业也可以不同程度地并行运行,并且后者不受 Oracle 查询协调器的控制,这种情况下,队列能提供负载平衡。 ## 利用表函数的示例 下面我们将以一个实际示例展示图0 码力 | 21 页 | 1.03 MB | 2 年前3
TypeScript 多场景设计方案及应用实践## TypeScript 多场景开发实践 Best practices of TypeScript and Dev in Alibaba ## 陈仲寅(花名:张挺) 就职于 阿里巴巴淘宝技术部 MidwayJS 团队  zhangting@taobao Controller { async create() { // TODO } } module.exports = PostController; class 用法,无法多继承 ## 体验不同 Egg 解决的是 BFF 场景,而淘宝有不少全栈场景 杂糅的 app/ctx 合并机制 ## 第一代设计 ## 解决复杂问题 ## 尝试引入 IoC 解决复杂业务的问题 ## Function 2、多实现上的不一致 - 无法方便的继承 3、代码洁癖上的问题 - 编译目录分离 ## Tes ## CLASS ## 体验 ## 统一使用 class/interface 为了良好的使用 IoC,我们将整个 Midway 修改为了 OO 的模型,所有的东西都通过 class 来编码,这样也可以更好的借鉴 java 的思想,另一方面可以通过接口来解决多实现的架构。 ## ☐0 码力 | 95 页 | 8.28 MB | 2 年前3
多租户Kubernetes VM Solutions for Multi-Tenant Applications0 码力 | 33 页 | 3.34 MB | 1 年前3
分布式异地多活架构实践之路adb784517f8/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自:中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟; 跨机房性能较慢 ## 跨机房专线问题 专线费用高; 专线不稳定0 码力 | 36 页 | 1.66 MB | 2 年前3
Go在工程实践的错误处理Golang在工程实践中的错误处理  彭友顺 石墨文档 产研负责人  为什么我们处理错误会这么慢 为什么我们处理错误会这么慢 01 如何完善错误信息 02 优雅处理错误信息 03 分布式错误处理 04 错误信息手册的必要性 05 第一部分 ## 为什么我们处理错误 会这么慢 ## 为什么我们处理错误会这么慢 why 出现错误 定位慢 恢复慢 效率低 ## 原因 错误信息不够完善 错误处理不够优雅 分布式错误难以串联 错误信息难以识别 ## 第二部分 ## 如何完善错误信息 ## GET./hello => "Hello client: main" • 没有调试信息和错误信息 • 对接起来会非常麻烦 ## 第三部分 ## 优雅处理错误信息 ## 为什么定位慢?-- 错误处理 ## 假设用户反馈了无法打开一个文件 ## 记录一次错误 不要透传错误 错误码唯一性 ## 我们的程序员非常认真 err := fmt.Errorf(format:0 码力 | 30 页 | 3.11 MB | 2 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现678/9:: $ ^{*} $ <=01/>? ! !#$%& '(*@ABCDEF2GHIJ ! 345KLMN3O/PQR'(STUVWX)YZ01[H\ ## 多集群 ! ^`&"a b(I bcde%f&gd%hib9GH/klmnopqrsrl/GHIJ ! DEFt b$`&da" bkluv3 bcde%f&gd%hibS0 码力 | 43 页 | 1.14 MB | 1 年前3
2.1.3 如何用go module构建模块化跨链平台GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 如何用go module构建模块化跨链平台 汪小益 趣链科技 ’ alt=‘OCR图片’/> 什么是区块链 跨链的重难点分析 跨链平台架构设计 Go module和plugin 的应用实践 GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 1 什么是区块链 GOPHER 区块 将一段时间内发生的所有交易和状态打包成为一个区块。 块链式数据结构 (狭义区块链) 区块以时间顺序前后相连,组成一种块链式数据结构,即“区块链”一词的由来。 分布式账本 (广义区块链) 多参与方各自部署,互联互通,构成分布式网络。 GOPHER CHINA 2020 1 异构区块链生态 币/模式 比特币 天秤币 (由Facebook发行) 摩根币 (由摩根大通发行) 链/技术 {1} $链A T ? 链B GOPHER CHINA 2020 包含无效交易 中国 上海 / 2020-11.21-22 ’ alt=‘OCR图片’/> 跨链难点分析 解决方案 实现多中心化可信中继的中继链 BitXHub跨链技术平台 适用于异构区块链的跨链消息传输协议 实现无侵入适配不同区块链的跨链网关 支持异构区块链交易验证的验证引擎 难点 适用于不同场景的多种跨链事务方案 支持异构区块链0 码力 | 27 页 | 1.24 MB | 1 月前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













