Curve核心组件 - SnapShotCloneServer 许超杰CURVE基本架构 01 02 03 04 快照和克隆的特点 快照克隆服务器架构 快照的实现 05 克隆的实现CURVE基本架构 • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft • 客户端 Client 任务管理层负责调度SnapshotTask和CloneTask，并向上提供如 cancel task等功能。 SnapshotTaskManager & CloneTaskManager: • 快照克隆核心模块，负责向下调用DataStore，MetaStore等底层 模块，实现快照和克隆的具体功能。 SnapshotCore & CloneCore:快照克隆服务器架构 • SnapshotDa

Curve核心组件之ChunkServer 查日苏CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 • 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接 openstack 和 k8s 网易内部线上无故障稳定运行500+天 • 已开源 • github主页： https://opencurve.github • github代码仓库： https://github.com/opencurve/curveCURVE基本架构 01 02 03 04 ChunkServer架构 ChunkServer核心模块 新版本ChunkServer性能优化CURVE基本架构 • 元数据节点 MDS • 管理和存储元数据信息 • 感知集群状态，合理调度 • 数据节点 Chunkserver • 数据存储 • 客户端 Client • 对元数据增删改查 • 对数据增删改查 • 快照克隆服务器CURVE基本架构 01 02 03 04 ChunkServer架构 ChunkServer核心模块 新版本ChunkServer性能优化Curve ChunkServer是数据节点， 对外提供数据读写和节点管理功 能，底层基于ext4文件系统，操 作实际的磁盘。 ChunkServ

Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： https://github er上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器，利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离：比如副本的放置分布在不同机器，不同机架，或是不同的交换机下面。 2. 隔离和共享：不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 超过miss时间 未超过offline时间 UNSTABLE ONLINE OFFLINESCHEDULE Schedule（系统调度）是为了实现系统的自动容错和负载均衡，这两个功能是分布式 存储系统的核心问题，也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常（如坏盘、机器宕机）导致的数据丢失不依赖人工处理，可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、c

U进 程进行重启。NEBD 整体介绍 在QEMU和Curve Client中间加入热升级模块，避 免直接依赖 热升级模块是CS结构：  NEBD Client(part1)：只包含轻量的业务逻辑， 以链接库的形式提供给QEMU使用  NEBD Server(part2)：将NEBD Client的请求转 发到Curve Client 升级过程只需要重启NEBD Server即可，IO可在

周遥 xuanyin.zy@alibaba-inc.com 阿里巴巴核心应用落地 Service Mesh 的挑战与机遇 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •2010 四川大学毕业 •2010-2016 社区、我的淘宝、中间件软负载 •2016-2019 自主创业、挖财中间件负责人 •2019-今 阿里服务网格团队 专注软负载、服务治理、分布式；Nacos Mesh 实战作者》；爱好骑 行、钢琴•现状及行业态度 •带来的变化和发展机遇 •核心应用落地所克服的挑战 主题#1 现状及行业态度•时隔两月 Istio 发布了 1.4，迭代迅速 •国内 Service Mesh 相关书籍出版三本以上 •各大厂积极部署推进，蚂蚁金服影响力最大 •阿里巴巴实现对核心应用于双十一上验证 •云计算平台推出商业产品，但仍未普适 行业现状行业态度 普遍看好，仍存疑惑。 Biz框架思维转向平面思维 Service Mesh Biz Non Ali Biz将中间件能力下层到基础层 业务 (Java/Go/C++ 等) Serverless 业务 (Java/Go/C++ 等) 业务 (Java/Go/C++, etc) Serverless 业务 (Java/Go/C++, etc) 网格化的基础组件 (基于插件) 网格化的基础组件 (基于插件)

以及动态配置数据的推送。这里面最简单的需求就是将⼀个配置准时的推送到不同的节点。即便如 此简单需求，随着业务规模变大也会变的非常复杂。如何能将数据准确的在 3 秒钟之内推送到每⼀ 个计算节点，这是当时提出的⼀个要求，围绕这个要求，系统要做大量的研发和改造，类似的这种 关键的技术挑战点还非常非常的多。本书就是将面对复杂的分布式计算场景，海量并发的业务场景， 对软负载⼀个系统的进行阐述，通过 Nacos 开源分享阿里软负载最佳实践，希望能够帮助到各位开 DNS（Dubbo+Nacos+Spring-cloud- alibba/Sentinel/Seata）组合始终走在前列，引领着微服务领域的发展趋势。Nacos 作为核心引擎 孵化于 2008 年的阿里五彩石项目，自主研发完全可控，经历十多年双 11 洪峰考验，沉淀了高性能、 高可用、可扩展的核心能力，2018 年开源后引起了开发者的广泛关注和大量使用。本书也将介绍 Nacos 偏 AP 分布式系统的设计、全异步事件驱动的高性能架构和面向失败设计的高可用设计理念 业化三位⼀体，讲清开源的价值，能够持续投入开源，解决第⼀阶段难以持续的问题。 Nacos 也 是在这个大势下应运而生，并且快速成为国内首选。 2018 年产品规划会⼀起到舟山小岛上，关于是否开源的时候面临几个核心问题进行深度讨论，第⼀ 个是我们开源是否晚了，如何定位和打造竞争力；第二是内部有三个产品（Configserver 非持久注 册中心，VIPServer 持久化注册中心，Diamond 配置中心），是开源三个产品还是合成⼀个产品开

率低，故障排查慢，阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。 微服务应 用 大型 单体 应用 VM/服务器 VM/服务 器 VM/服务 器 VM/服务 器 目 标  支持微服务级别的细粒度资源隔离  支持快速扩缩容  支持热升级，服务更新不影响业务可用性  支持服务的快速地部署、扩展、故障转移  支持更细致、自动化的运维，快速恢复  …… 过去 现在 未来 云原生的业务承载平台？

间授权等)、DevSecOps（安全左右移等等，比如代码或者镜像扫描）、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的，环境变化也是碎片化的，而且其业务类型越来越多，比如已经延展到边 缘计算盒子，此时攻击面被放大，在云原生环境下安全是一个核心价值，需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力，导致传统安全实施方法、角色、流程、技术 都发生了很多变化，适应这些变化是落地云原生安全的关键！ 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合了上面两种的优点并克服其缺点，将SAST和DAST相结合，通过插桩 SCA就是解决此类问题的办法，通过自动化分析组件版本并与漏洞库相 比较，快速发现问题组件，借助积累的供应链资产，可以在快速定位的 同时，推动业务快速修复。 安全左移的一种，在上线前发现依赖组件的安全 问题，快速借助供应链资产库，帮助业务修复问 题。 需要进行大量的安全特征以及资产库的建设或者 三方集成。（涉及业务能力） RASP(运行时安全应 用程序自我保护) 可以看做是IAST的兄弟，RASP通过程序上下文和敏感函数检查行为方式

大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 续支持以及国内人工智能行业对模型研发的巨额投 入下，从基础算法到行业应用、从算力基础设施到数据资源整合，中国人工智能生态体系正在迅 速完善。这一趋势表明，未来中国有可能在全球人工智能领域占据更为核心的地位。 开源生态的繁荣与协作 随着开源模型影响力的提高，中国开源社区的活跃度也明显提升。无论是企业、研究机构还 是个体开发者都更加积极地参与到开源工作中。 以阿里巴巴的通义千问 Qwen 为例，据不完全统计，截止 技 术创新到社区建设，还是从行业实践到合规探索，中国开源生态体系的完善正在为全球人工智能 发展注入源源不断的动力。 在 Hugging Face，我们坚信开源是推动人工智能技术进步和生态繁荣的核心力量。开源 不仅能够打破技术壁垒，促进全球开发者之间的协作与创新，还能推动技术的普惠化，让更多的 24 / 111 人能够平等地享受人工智能带来的便利与机遇。 在未来，中国开源模型有望继续引

秦晓辉，常用网名龙渊秦五、UlricQin，山东人，12年 毕业自山东大学，10年经验一直是在运维研发相关方向， 是Open-Falcon、Nightingale、Categraf 等开源软件 的核心研发，快猫星云联合创始人，当前在创业，为客 户提供稳定性保障相关的产品 个人主页：https://ulricqin.github.io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 •相比物理机虚拟机时代，基础设施动态化，Pod销毁重建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 l 服务端组件，控制面：API Server、Scheduler、 Controller-Manager、ETCD l 工作负载节点，最核心就是监控Pod容器和节点本 身，也要关注 kubelet 和 kube-proxy l 业务程序，即部署在容器中的业务程序的监控，这 个其实是最重要的 随着 Kubernetes 越来越流行，几乎所有云厂商都提供 了托管服务，这就意味着，服务端组件的可用性保障交