## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 如何帮助业务快速排障 如何提供方便便捷的性能分析调优能力 100+ 产品数量 ## 1000 人员规模 10000 主机规模 ## 多Beats/Logstash接入 管控 提供多产品接入管理，多beats标准化、界面化、自动化的日志接入方案 ## 案例:1000+业务10000+台 主机如何快速实现日志接入？ 业务规模 1000+业务、10000+业务主机、每天百T日志增量 日志需求 收集业务日志文件用于故障分析与告警监控 收集业务日志文件用于故障分析与告警监控 收集主机性能数据做容量分析 日志热数据保存七天 历史数据冷备一个月 其他诉求 日志上报不能影响核心业务 数据上报延时可感知 传统Beats接入流程  ## 系统架构 ![Image]

Greenplum发展史@Alibaba ## 产品云化-服务中小企业 ## 为什么要提供Greenplum云服务 ☐ IaaS、PaaS、SaaS皆云化-大势所趋 ☐ 阿里云能够提供一站式的分析解决方案 ☐ PostgreSQL的生态发展迅猛 ☐ 大数据发展势头放缓 ☐ 数据库更简单易用 托管 弹性 ## 高可用 安全 监控 ### 1. Greenplum发展史 @Alibaba AnalyticDB for PostgreSQL 未来演进 ## AnalyticDB for PostgreSQL 在线MPP数据仓库服务 简单易用、海量扩展、兼容部分Oracle 语法生态、既支持在线交互分析，也支持离线数据处理。AnalyticDB for PostgreSQL（云Greenplum）低成本，快速构筑在线企业数据仓库。  ## - 支持多模分析 通过PostGIS插件支持地理信息数据分析；MADlib库内置100+机器学习算法库，实现数据智能探索；高性能向量检索算法，支持视频/图像检索以图搜图

## TypeScript 多场景开发实践 Best practices of TypeScript and Dev in Alibaba ## 陈仲寅（花名：张挺） 就职于 阿里巴巴淘宝技术部 MidwayJS 团队  zhangting@taobao Controller { async create() { // TODO } } module.exports = PostController; class 用法，无法多继承 ## 体验不同 Egg 解决的是 BFF 场景，而淘宝有不少全栈场景 杂糅的 app/ctx 合并机制 ## 第一代设计 ## 解决复杂问题 ## 尝试引入 IoC 解决复杂业务的问题 ## Function 2、多实现上的不一致 - 无法方便的继承 3、代码洁癖上的问题 - 编译目录分离 ## Tes ## CLASS ## 体验 ## 统一使用 class/interface 为了良好的使用 IoC，我们将整个 Midway 修改为了 OO 的模型，所有的东西都通过 class 来编码，这样也可以更好的借鉴 java 的思想，另一方面可以通过接口来解决多实现的架构。 ## ☐

adb784517f8/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE # 讯飞输入法异地多活架构实践之路 凌 军 主办方 Geekbang. InfoQ 极客邦科技 ## 自我介绍 · 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 科大讯飞消费者BG基础平台架构负责人 4/4/f244e3e91d6c76afe0bdeadb784517f8/p3_1.jpg) 来自：中国科学院《互联网周刊》 ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 ## 单机房遇到的问题 可用性低 响应时间慢 系统扩容难 ## 可用性低  ## 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 ## 技术挑战 ## 机房天然延迟 几十毫秒的延迟； 跨机房性能较慢 ## 跨机房专线问题 专线费用高； 专线不稳定

API可靠性分析与验证 姜剑峰 ## 主题内容 • Rust第三方库API可靠性现状 • 现用方法的局限性 - 基于程序合成+模糊测试的可靠性分析方法 ## 自我简介 • 本（2019）硕（2022）毕业于复旦大学 - 目前在蚂蚁集团安全计算部门开发应用于机密计算的Rust系统软件 - 研究生期间主要从事Rust测试与验证工具的研究，本人所在的是国内最早开展Rust程序分析相关研究的实 所有动态检查都不应该被违背（可以被安全的移除），除非panic是一种允许的行为 ## 现有的可靠性分析方法及其局限性 模糊测试(afl.rs, libfuzzer): 分支覆盖率；用例程序的构造 符号执行(klee, angr)：路径爆炸；求解困难 静态分析(MirChecker, Rudra, SafeDrop)：分析特定问题；假阳性 形式化验证(RustBelt)：无法方便的验证第三方库 其他工具（Miri等） 结论以及未来的发展 1. Rust优秀的语言设计避免了大量可能发生的潜在错误 2. 目前Rust程序合成的难点在于unsafe代码，泛型与trait，宏等 3. 保障Rust程序的可靠性仍然需要各种程序分析以及软件测试的手段 ## Thanks ## Rust China Conf 2021-2022 – Online, China

## DataEase 嵌入式分析 2024年3月 ## 人人可用的 开源数据可视化分析工具 DataEase 可以帮助用户快速分析业务数据并洞察其趋势，从而实现业务的改进与优化。DataEase 支持丰富的数据源连接，能够通过拖拉拽的方式快速制作图表，并且可以方便地与他人进行分享。 ## FIT2CLOUD 飞致云 ## DataEase v2 的不同版本对比 |版本类型|社区版|嵌入式版|企业版| |---|---|---|---| |目标群体|任何用户|ISV / 系统集成商|最终客户| |产品功能|社区版功能|社区版功能 + X-Pack 部分功能（含嵌入式分析能力）注：单数据集限制 10 万行数据。|社区版功能 + X-Pack 所有功能（含嵌入式分析能力）注：数据集无行数限制。| |销售方式|社区分发免费使用|线上销售 / 线下推广标准化合同模板|线下推广线下商务流程| |授权方式|免费永久使用|按 ×8）|原厂企业级技术支持服务（基础级，5×8；增强级，7×24）| 嵌入式分析可以给 ISV 带来哪些价值？ DataEase 嵌入式分析的方案 DataEase 嵌入式分析的优势 在线体验 & 嵌入流程介绍 ## 什么是嵌入式分析？ 嵌入式分析是可以嵌入在商业应用程序中，为应用软件提供或者增强分析功能的专业 BI 软件。 ## " Embedding analytics

## 基于静态分析的Rust内存安全缺陷检测研究 报告人：徐辉 复旦大学 报告日期：2022.11.25 ## 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 ## 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 ## Rust语言 ## 系统级安全编程语言 手动释放内存或调用析构函数 函数返回时发生的自动析构或内存释放 ☐ Rust设计的目标之一是编译时检查指针别名（共享可变引用） 但一般意义上的指针分析是NP-hard问题 智能指针可行，但作为运行时方案，效率低 ■ Rust在语法设计中引入所有权机制，简化指针分析问题 ## Rust所有权模型 => XOR Mutability ☐ 一个对象有且只有一个所有者 ☐ 所有权可以转移给其它变量 访问v造成use-after-free 15 /*double free: v is released when the function returns*/ 16 } ## 从Rust MIR分析Auto Memory Reclaim问题 

## DataEase ## 人人可用的开源数据可视化分析工具 2023 年 6 月 数据可视化对企业的价值 DataEase 开源项目介绍 DataEase 模板市场 DataEase 企业版介绍 ## 数据可视化对企业的价值 原始数据  ## FIT2CLOUD 飞致云 数据→信息→价值 可视化 数据孤岛 管理混乱 缺失分析 可以为企业运营带来直接收益 ## 数据价值  全业务场景 用户行为管理 数据驾驶舱 ## 数据可视化对不同人员的价值 数据可视化对不同人员的价值 ## FIT2CLOUD 飞致云 ## 前端业务人员 能够快速、高效地提供体验良好的数据展现手段，通过分析数据资产的质量，助力企业做出更加准确的业务策略。 ## 数据管理人员 提供多种数据使用模式，提供更为丰富、安全的数据管理手段，有助于企业内部进行更为广泛的数据整合与分析，并由此创造数据价值。 ## 企业管理者 能够合理评估、规范和洞察企业信息，洞悉企业发展趋势，在有效管理 IT

R-Bot：检索问答系统 KB/KG 问题 问题分析 检索 排序 词/同义词  答案[列表] 实体识别 问题分类 同类词 TF-IDF LtR 指代消解 词向量 CNN/RNN 关系抽取 情感分析 ## I R-Bot：深度学习 IR-Bot（成熟度：★★★★★） • 基于检索/排序的流程，历史悠久，技术成熟 • 引入深度学习，计入长效依赖，生成更好的语句表达 • Task-Bot（成熟度：★★★★★） • 解决任务型多轮问答 • 深度学习端到端？ • Chitchat-Bot（成熟度：★★★★★） • 开域聊天 • 深度学习在NLP里的新舞台 • 通向强人工智能之路？ 爱因斯坦的提出 ## 深度定制对话服务 对话交互的价值：在哪儿/在那儿 • 行业早期，价值待验证 • “能帮我把转化率提升50%吗？” • 需求界定师：砍掉不合实际的需求 • “能不能把我的销售、客服全换成机器人？” • “能不能通过分析上课视频，来解答学生的问题？” · 对话设计师：怎么更优雅地达到目的 · “公交车上你会给老人让座吗？” - 做能做且有价值的事，努力把不能做的事变成可做的 Thanks # 爱因互动，欢迎你的加入