## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 从Consul中获取当前agent的配置组列表，并启动多个采集进程 ## 配置变更感知 watch到Consul对应的agent id路径，实时感知配置变化，并对启动的进程列表做重启清理等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 ![Image](/uploads/documents/2/c/4/c/2c4c78721f

## TypeScript 多场景开发实践 Best practices of TypeScript and Dev in Alibaba ## 陈仲寅（花名：张挺） 就职于 阿里巴巴淘宝技术部 MidwayJS 团队  zhangting@taobao Controller { async create() { // TODO } } module.exports = PostController; class 用法，无法多继承 ## 体验不同 Egg 解决的是 BFF 场景，而淘宝有不少全栈场景 杂糅的 app/ctx 合并机制 ## 第一代设计 ## 解决复杂问题 ## 尝试引入 IoC 解决复杂业务的问题 ## Function 2、多实现上的不一致 - 无法方便的继承 3、代码洁癖上的问题 - 编译目录分离 ## Tes ## CLASS ## 体验 ## 统一使用 class/interface 为了良好的使用 IoC，我们将整个 Midway 修改为了 OO 的模型，所有的东西都通过 class 来编码，这样也可以更好的借鉴 java 的思想，另一方面可以通过接口来解决多实现的架构。 ## ☐

adb784517f8/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自：中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟； 跨机房性能较慢 ## 跨机房专线问题 专线费用高； 专线不稳定

## 高可用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 ## 李玥 京东集团 技术架构部 架构师 负责主导设计新一代京东消息中间件系统，专注于流数据的一致性分发和可靠存储、分布式实时计算和高可用分布式系统架构等技术领域。 从事互联网研发、架构10余年，曾在浪潮集团、当当网等公司从事架构相关工作。2017年加入京东，期间提升京东商城相关系统的性能和吞吐量数倍。 目前致力于推进京东基础架构技术的创新、对外赋能与开源。 Why 有什么用？ What 如何定位？如何融入生态系统？ How 如何实现？如何优化？ ## 目录 ## WHY ## 为什么需要流数据存储？ ## 那些年的服务 单体应用 烟筒式 SOA 微服务 ## 这些年的数据 Services ## ☐ → ☐ Data Hive ES HBase HDFS KV ##

/e/c/8/5ec8e409f6e2dbb408c2311a61fa97fc/p4_1.jpg) ## 推荐篇 推荐场景、在线机器学习和深度学习 ## 1 推荐场景 ## • 信息流 ## 关系流  昨天很多媒体都说这是英格兰 %生产力的新编程语言。  ## 热门流   ## 视频流  ## 1 推荐场景 ## • 推荐流 视频推荐流 ![Image](/uploads/documents/5/e/c/8/5ec8e40

Days ## 开源多集群应用治理项目 Clusternet 在多点生活的云原生实践 陈鹏 ## 个人简介 ## 手 Kubernetes Community Days 陈鹏 多点生活 平台架构-基础架构工程师 • 开源项目 MOSN 核心 Committer • 主要负责容器服务整体架构的设计与开发 主导 ServiceMesh 落地相关工作 ## 目录 多集群管理现状 Operator 迭代 反思&重构 ## 多集群管理现状 ## 整体架构 GZ01A GZ01B GZ01C RZ01 RZ01A  RZ02 RZ02A RZ01B RZ02B • 多单元 • 多集群 • 多分组 • 多种公有云（腾讯云、微软云等） 8/p7_3.jpg) api 应用在多集群运行状态收集 应用维护，日志查看，故障排查  controller 应用发布 Operator ## API • 对使用方屏蔽多单元、多集群的存在 • 提供简单的、无需运维介入的日常维护功能

QCon BEIJING 2018 ## 深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 ## 目录  微博Feed流排序场景介绍  ## 微博—社交媒体领跑者 • DAU : 1.72亿, MAU : 3.92亿 - 关注流基于关系链接用户与内容 ## > 信息获取方式 - 主动获取（关注） - 被动获取（推荐） ## 内容形式 • 博文/文章/图片/视频/问答/话题/... ## 微博Feed流特点介绍—排序原因 ## ➢ 产品特点 • 传播性强 • 互动性好 ## 存在问题 - 信息过载 jpg) ## 目录  微博Feed流排序场景介绍  常规CTR方法排序

多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com ## POSSIBLE BEGINS WITH YOU: ## 多雲一體就是現在: Google Cloud 的 Kubernetes 混合雲戰略 安玟宇 Wayne An 台灣區已經備有三個容錯區域 高效能代管式服務 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境整合，加速應用上線  ## 使用多層次的架構重塑雲端佈署 ![Image](/uploads/

## PyTorch ## 拼接与拆分 主讲人：龙良曲 ## Merge or split Cat - Stack Split Chunk ## cat ## ■ Statistics about scores - [class1-4, students, scores] - [class5-9, students, scores] ## ☐ ☐ ☐ 1 In [99]: a=torch