## 机器学习-聚类 黄海广 副教授 2023年04月 ## 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 ### 1. 无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 ### 1. 无监督学习方法概述 ## 监督学习和无监督学习的区别 ## 与此不同的是，在无监督学习中，我们的数据没有附带任何标签y，无监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 ### 1. 无监督学习方法概述 ## 主要的无监督学习方法 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（Dimensionality Reduction） ✓ 如何将原高维空间中的数据点映射到低维度的空间中？ ✓ 关联规则（Association 无监督学习方法概述 ## 聚类 主要算法 K-means、密度聚类、层次聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预测…… ### 1. 无监督学习方法概述 ## 聚类案例 ### 1. 医疗 医生可以使用聚类算法来发现疾病。以

优先处理业务逻辑 不是架构师专属标榜 对软件匠艺的执着追求 套路化之后的有条理的多 关于软件结构的新思维方式 分离技术复杂度和业务复杂度 ## DDD为何？ KIS S 高内聚 分层 抽象 DRY 纯函数 YAGNI 模块化 低耦合 依赖倒置 迪米特 里氏替换 关注点分离 单一职责 面向接口 不变性 开闭原则 ## DDD为何？ 01010

## MYSQL 高可用方案探究 1 前言.....3 2 Lvs+Keepalived+Mysql 单点写入主主同步高可用方案.....3 2.1 方案简介.....3 2.2 方案架构图.....3 2.3 方案优缺点.....4 2.4 方案实战.....4 2.4.1 适用场景.....4 2.4.2 实战环境介绍.....4 2.4.3 Mysql 的安装和配置 backup 的 realserver 的配置.....7 2.4.9 Master 和 backup 的启动.....8 2.4.10 高可用方案测试.....9 3 Lvs+Keepalived+Mysql 单点写入读负载均衡主主同步高可用方案.....9 3.1 方案简介.....9 3.2 方案架构图.....9 3.3 方案优缺点.....9 3.4 适用场景 11 3.5.7 Master 和 backup 的 realserver 的配置.....15 3.5.8 Master 和 backup 的启动.....16 4 Heartbeat 高可用 Mysql 主主同步方案.....16 4.1 方案简介.....16 4.2 方案优缺点.....16 4.3 方案架构图.....17 4.4 适用场景.....17 4

[Image](/uploads/documents/9/d/9/8/9d98387799cc5700a0665a6bc7d4dfc3/p12_3.jpg) 互联网接诊平台 • 云端平台建设 • 高并发用户压力 ## 人工智能：中医AlphaGo  ## 微服务设计关键：高内聚 模型服务 问诊 服务 诊疗服务 患者服务 小而专 高内聚 症候表 问诊表 诊断治疗 患者表 ## 业务如何落地 微服务设计的难题 服务如何拆分 领域驱动设计 维护量如何减小 微服务内高内聚 微服务间低耦合 ## 项目整体规划 医生端 接诊平台 ## 用例模型分析

5b2fcf3b9ff0/p12_3.jpg) 突出用户信息，诉求和价值体现 还原业务场景 ## 可视化的划分遗留系统 领域驱动设计、事件风暴工作坊、服务画布 ## 好的设计 ## 高内聚 就是把相关的行为聚集在一起，把不相关的行为放在别处。如果你要修改某个服务的行为，最好只在一 处修改。 ## 低耦合 如果做到了服务之间的松耦合，那么修改一个服务就不需要修改另一个服务。一个 - 最初由Alberto Brandolini 开发，经过DDD社区和 TW的很多团队实践验证后，于2015年11月进入 ThoughtWorks技术雷达 Powerful：可以让实践者在数小时内理解复杂的业务模型 Engaging：把带着问题的人和拥有答案的人共聚一堂构建模型 ▶ Efficient：跟DDD的实现模型高度一致，并能快速发现Aggregate和Bounded Context 事件风暴 ## 命令风暴 ## 什么是聚合？ 聚合是一组相关领域模型的集合是用来封装业务的不变性。确保关联关系紧密的领域模型能够内聚在一起。 ## 为什么用聚合? 使用聚合的目的是封装业务的不变性，同时强迫大家尽可能的简化领域模型之间的关联关系。在业务层面进行高内聚，低耦合的设计。 ## 寻找聚合 ![Image](/uploads/documents/1/4/1/4/14145ffa5d

Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 异常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的mds节点为主，等待节点为备；主节点的服务挂掉之后，备节点能启动服务，尽量减小服务中断的时间。需要解决的问题就是：如何确定主备节点。 为大家熟知的就是zookeeper和etcd，考虑当前系统中mds有两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key

2/p1_1.jpg) QCon 全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 代码:123禁售时间:0只能输入正整数,输入范围为60~120(含60和120),不在范围内的数值默认为120*销售有效期:从2017-03-09至2017-04-29*旅行有效期:< => 索引库 - 规则库写入量大，集群峰值达20K TPS · 要求同步延迟很低，不超过60s - 保持顺序一致性，如果先删后插变成先插后删，数据会不一致 · 数据最终一致 · 系统高可用 规则库 供应商 A 供应商 B DB Sync 供应商 M 索引库 北京 | 上海 成都 | 杭州 广州 | 郑州 南宁 | 天津 ## 报价引擎 — 数据同步 按

# MySQL協助您搭建全方位的高可用應用 杜修文 甲骨文全球事業部 ## 安全港声明 以下内容旨在阐明产品的整体方向。该内容仅供参考，不可纳入任何合同。该信息不承诺提供任何资料、代码或功能，并且不应该作为制定购买决策的依据。本文档所述的 Oracle 产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 ## MySQL 高可用性解决方案  ## 支持高可用性的各个层 并不仅仅是可靠地存储数据 冗余应用服务器 数据的冗余访问路径  数据路由 数据冗余存储 ## 支持高可用性的各个层 并不仅仅是可靠地存储数据 冗余应用服务器 中继日志中 - SQL 线程：读取从数据库的中继日志中的复制事件，然后将其应用到从数据库 ## 为何进行复制？ - 将数据库从 “主服务器” 复制到 “从服务器” – 数据的冗余副本奠定了高可用性的基础 – 通过在复制场中进行分布式查询来扩展 ![Image](/uploads/documents/4/8/4/c/484c9d62390ce6f7d8cf5e435c4c269f/p7_1

## PostgreSQL “反向代理” Redis 高金芳 平安科技（深圳）有限公司 ## 个人介绍 职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan.com.cn ## 个人简介： 高金芳，中国平安集团旗下平安科技数据库技术部数据库架构师，从事数据库相关工作9年。 2007年毕业，从事oracle ERP开发，数据仓库和数据挖掘相关工作。 p5_5.jpg) Redis是一个有丰富数据类型的Key-Value数据库 ## 当前用户访问过多，请稍候重试~ ## NEWS ## Bang! 高性能 稳定性 安全性 轻量级 高可用 ## 🌸 性能极高，OPS超过100K ## Redis ## 三 支持丰富的数据类型 苗 数据可持久化  Redis在高版本中还增加了保护模式 ## Redis Management Dilemmas ![Image](/uploads/documents/d/6/a/9/d6a9d0f03981bbbc13a69dc8548c570c/p14_1

云原生产品与架构系列讲座·第3讲  高磊 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 12月1日（周三）晚8点 互动平台：腾讯文档  泛 集群版架构高可用，数据三副本存储；支持跨可用区容灾和表级别数据备份与恢复。 |项目|传统数据库Oracle|云原生数据一体机| |---|---|---| |存储架构|存算一体：调整困难、只能满足一定的吞吐量要求|存算分离：自动调整、拓展能力强，满足更大吞吐量| |存储自动扩缩容|手工填加机器，手工同步|完全自动化| |高性能|存在性能瓶颈|类似日志方式的顺序写，性能高| |易用程度|封