基于Consul的多Beats接入管控与多ES搜索编排## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 从Consul中获取当前agent的配置组列表，并启动多个采集进程 ## 配置变更感知 watch到Consul对应的agent id路径，实时感知配置变化，并对启动的进程列表做重启清理等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源  zhangting@taobao Controller { async create() { // TODO } } module.exports = PostController; class 用法，无法多继承 ## 体验不同 Egg 解决的是 BFF 场景，而淘宝有不少全栈场景 杂糅的 app/ctx 合并机制 ## 第一代设计 ## 解决复杂问题 ## 尝试引入 IoC 解决复杂业务的问题 ## Function 2、多实现上的不一致 - 无法方便的继承 3、代码洁癖上的问题 - 编译目录分离 ## Tes ## CLASS ## 体验 ## 统一使用 class/interface 为了良好的使用 IoC，我们将整个 Midway 修改为了 OO 的模型，所有的东西都通过 class 来编码，这样也可以更好的借鉴 java 的思想，另一方面可以通过接口来解决多实现的架构。 ## ☐0 码力 | 95 页 | 8.28 MB | 2 年前3
- 多租户Kubernetes VM Solutions for Multi-Tenant Applications0 码力 | 33 页 | 3.34 MB | 1 年前3
- 分布式异地多活架构实践之路adb784517f8/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自：中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟； 跨机房性能较慢 ## 跨机房专线问题 专线费用高； 专线不稳定0 码力 | 36 页 | 1.66 MB | 2 年前3
- vLLM v0.6.1 Documentation0 码力 | 215 页 | 1.29 MB | 3 月前3
- vLLM v0.5.0.post1 Documentation0 码力 | 144 页 | 1.09 MB | 3 月前3
- Gemma 4 完全指南 - 从入门到本地部署Complete Guide to Gemma 4: From Understanding to Local Deployment 涵盖型号：E2B·E4B·26B-A4B·31B 架构：Dense+MoE·多模态·256K上下文 许可证：Apache2.0 信息来源：Google官方文档·Hugging Face·本地实测 文档版本：v1.0.0 发布时间：2026-04-03（build #0） 花叔 公众号「花叔」·B站「AI进化论-花生」 §01 从Gemma 1到Gemma 4 The Gemma Timeline: From Benchmark Project to Product Line Google做开源LLM这件事，走了两年多弯路。Gemma4不是凭空冒出来的，它是前面四代试错的结果。看完这条时间线，你就知道Gemma4为什么长这样了。 2024年2月：Gemma1，Google的第一次试水 2024年2月21日，Goog Gemma1的定位很清楚：技术验证。它想证明Google也能做出参数效率高的小模型。性能确实不错，在同尺寸模型里排名靠前。但说实话，它更像一个benchmark项目，不是一个你会真正拿来干活的工具。 两个尺寸，纯文本，没有多模态，上下文也不长。社区的反应是：嗯，还行，但我为什么不用Llama？ 2024年6月：Gemma2，性能跳了一大步 四个月后，2024年6月27日，Gemma2来了。首发两档：9B和27B，7月31日又追加了2B。0 码力 | 42 页 | 4.85 MB | 1 月前3
- 开源多集群应用治理项目Clusternet 在多点生活的云原生实践Days ## 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 ## 个人简介 ## 手 Kubernetes Community Days 陈鹏 多点生活 平台架构-基础架构工程师 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 主导 ServiceMesh 落地相关工作 ## 目录 多集群管理现状 Operator 迭代 反思&重构 ## 多集群管理现状 ## 整体架构 GZ01A GZ01B GZ01C RZ01 RZ01A  RZ02 RZ02A RZ01B RZ02B • 多单元 • 多集群 • 多分组 • 多种公有云（腾讯云、微软云等） 8/p7_3.jpg) api 应用在多集群运行状态收集 应用维护，日志查看，故障排查  controller 应用发布 Operator ## API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能0 码力 | 22 页 | 17.18 MB | 1 年前3
- QCon北京2018-《深度学习在微博信息流排序的应用》-刘博p18_1.jpg) ## 总结展望 ➢ 模型算法是手段 • 业务和数据决定模型算法的应用场景 - 模型算法殊途同归 - 计算力和算法架构是保障 ## 总结展望 ## 未来工作 - 多模态—更好的对非结构化内容进行表征 - 用户行为序列embedding - 更多的融合网络结构适用于CTR预估场景  ## 使用多層次的架構重塑雲端佈署 ![Image](/uploads/0 码力 | 32 页 | 2.77 MB | 2 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100