1 2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)；

I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵入式流量 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。 涉及的模块：全局管理、容器管理、应用工作台、云原生网络、云原生存储、镜像仓 库 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建

团队们 如何继续以有效协作为重点，不断突破界限，在一个更加分散和动态的环境中进行工作。一些团队利用新的协 作工具不断提出创新解决方案。其他团队则继续调整和改进现有的面对面实践，例如实时结对编程或集体编程、 分布式工作坊（例如 远程事件风暴）以及异步和同步沟通。远程工作提供了许多好处（包括更多样化的人才储 备），但面对面交流的价值是显而易见的。团队不应中断重要的反馈循环，并且需要意识到在转向远程工作时所 ，生产者或云提供商通常以不同形式支持它们，这阻 碍了跨平台和基础架构的互操作性。CloudEvents 是一个描述事件数据的通用格式的规范，旨在提供服务、平 台和系统之间的互操作性。它提供了多种编程语言的 SDK，因此您可以将规范嵌入到应用程序或工具链中。我 们的团队不仅将其用于跨云平台的目的，还用于领域事件规范等其他场景。CloudEvents 由云原生计算基金会 （CNCF）托管，现在 在一个平台上预防、检测和应对安全风险和威胁。 Wiz 能对尚未部署到生产环境的构建产物（容器镜像、基础设施代码）以及生产工作负载（容器、虚拟机和云 服务）的错误配置、漏洞和泄漏的机密数据进行检测并发出警报。 它还能将发现的问题置于特定客户的云环境 的上下文中，使响应团队能够更好地了解问题并确定修复优先级。我们的团队在使用 Wiz 时获得了良好的体验。 他们发现 Wiz 正在快速发展并不断增加新的功能。值得称赞的是，由于

表格存储的数 据映射为二维表 支持 Partition、Bucket 的分区、分桶存储 更底层不是 HDFS，是阿里自研的盘古文件系统，但可借 助 HDFS 理解对应的表之下文件的体系结构、任务并发 机制 使用时，存储与计算解耦，不需要仅仅为了存储扩大不必 要的计算资源 SQL MaxCompute SQL TPC-DS 100% 支持，同时语法高度兼容 Hive，有 Hive SET)、脚本运行模式、参 数化视图 * 支持外表(外部数据源+StorageHandler 支持非结构化 数据） MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce,也提供高度兼容 Hadoop 的 MapReduce 版本) 不暴露文件系统，输入输出都是表 通过 MaxCompute 客户端工具、Dataworks client 运行 hive udtf sql，从而将数据从 hive 上传至 MaxCompute。 Alibaba Cloud MaxCompute 解决方案 36 7. 编程接口：Maven xml 8. 对于 hive 集群上作业提交队列的说明： Alibaba Cloud MaxCompute 解决方案 37 我们工具在创建 hive 作业迁移数据的时候，会把作业提交到

Knative 服务可在任意给定时间运行的 pod 数量上限。这也被称为 maxScale 设置。 并发目标 决定了给定时间每个应用程序实例所需的并发请求数。 并发限制 决定了给定时间允许每个应用程序的并发请求数的限值。 并发利用率 决定了在 Knative 扩展额外 pod 前必须满足并发请求限制的百分比，以处理额外 的流量。 自动扩展窗口定义了平均时间窗口，以便在自动扩展器不处于 panic 存储绑定数据的目录。 强制标识符，用于识别投射到对应目录中的绑定数据的类型。 可选：标识供应商的标识符，以便应用程序可以识别它可以连接到的后备服务类型。 要将绑定数据用作环境变量，请使用您选择的编程语言的内置语言功能，可以读取环境变量。 示例： 示例：Python 客 客户 户端使用 端使用 import os username = os.getenv("USERNAME") password (CR) 的 .metadata.name 部分 中配置的 ServiceBinding 资源的名称。 要在现有 SERVICE_BINDING_ROOT 环境变量中访问和使用绑定数据，请使用您选择的编程语言的内置 语言功能来读取环境变量。 示例： 示例：Python 客 客户 户端使用 端使用 OpenShift Container Platform 4.9 构 构建 建应 应用程序 用程序

服务可在任意给定时间运行的 pod 数量上限。这也被称为 maxScale 设置。 并 并发 发目 目标 标 决定了给定时间每个应用程序实例所需的并发请求数。 并 并发 发限制 限制 决定了给定时间允许每个应用程序的并发请求数的限值。 并 并发 发利用率 利用率 决定了在 Knative 扩展额外 pod 前必须满足并发请求限制的百分比，以处理额外 的流量。 自 自动扩 动扩展窗口 展窗口定义了平均时间窗口，以便在自动扩展器不处于 76 3 4 强制标识符，用于识别投射到对应目录中的绑定数据的类型。 可选：标识供应商的标识符，以便应用程序可以识别它可以连接到的后备服务类型。 要将绑定数据用作环境变量，请使用您选择的编程语言的内置语言功能，可以读取环境变量。 示例： 示例：Python 客 客户 户端使用 端使用 import os username = os.getenv("USERNAME") password 出现问题。作为临时解决方案，您可以修改程序代码或正在工作负载资源中运行的应用程 序，将文件复制到 /tmp 目录中并设置适当的权限。 要在现有 SERVICE_BINDING_ROOT 环境变量中访问和使用绑定数据，请使用您选择的编程语言的内置 语言功能来读取环境变量。  第 第 6 章 章 将 将应 应用程序 用程序连 连接到服 接到服务 务 77 示例： 示例：Python 客 客户 户端使用 端使用 from pyservicebinding

如何实现刷盘（可以类比一下数据库方面的刷盘、redo、undo 日志）？  RocketMQ 文件存储设计理念、基于文件的 Hash 索引是怎么实现的?  定时消息、消息过滤等实现原理。  如何进行网络编程（Netty 实战）？ 下定决心后便开始了我的源码分析 RocketMQ 之旅，大概在 4 个多月的时间中连续 发表了 30 余篇文章，从 Nameserver、消息发送高可用设计、消息存储、消息消费、消 有些什么条件呢？ 1. 扎实的 Java 基础功底 一个开源项目的底层都会涉及到存储，这就要求具备一定的数据结构基础，JAVA 集 合框架中的类自然成为了我们突破数据结构最好的老师，其次是 java 并发，即多线程、并 发容器、锁等课题，这方面可以好好学习一下 JUC 框架。最后最好是具备一些网络方面的 知识，例如 NIO、Netty。 2. 持续输出能力 成为一个开源项目的 contributions RocketMQ 开源社区的方式 接下来我们回到本节的主题，那如何参与一个开源项目呢？ 在参与一个开源项目之前，我觉得第一个最基本的步骤还是要打牢基础，这里的基础至 少要包括 JAVA 集合、JAVA 并发（JUC)这两项，只是最最基本的，至少要阅读其源码， 理解其设计理念，至于 NIO，Netty 这些可以后续在需要使用时再去专门学习，有针对性 的学习，有使用需求，或许学习动力更强劲，学习效率更高效。

运 维 平 台 容 器 平 台 运 维 平 台 Kubernetes 200 最大不可用数面向终态的应用管理 • 支持终态副本数保持 • 支持容器原地升级 • 保持 IP、卷 • 支持并发更新、容错暂停 • 支持镜像预热、按需下载镜像格式面向终态的风险控制 • 运维决策分散 - controllers - operators - rescheduler - kubelet Manager sidecar framework 运维能力 operator sidecar framework 运维能力 operator 运维平台 运维基础 能力沉淀 运维平台 运维能力 编程框架 Kubernetes Platform不可变基础设施 base os dep2 dep1 config binary Docker K8s Pod main Container

p kernel：2.6.32-220.23.2.el6.x86_64 p 单核模式：1 core； 多核模式： 4 core p Post请求：1k上传，1k下载 p h2load：100连接，10并发 场景 QPS RT(ms) MEM(M) CPU(%) Old http2(1 core) 2700 358ms 55M 100% New http2(1 core) 6500 152ms 36M MOSN<-> Service p Client模拟方式:通过蚂蚁内部压测平台建立10w条SOFARPC链接 p 压测内容: 1K 请求/响应持续演进实践总结 ü 架构上，从一开始就遵循分层设计，模块解耦，统一编程模型接口，保证足够的架 构扩展性。 ü 性能上，针对IO、协议、内存、协程进行持续优化。相比最初版本，SOFARPC 协 议上对 0.1.0 版本 QPS 提升了 50%，内存使用减少了 40%；HTTP/2

客户端应该尽可能的轻薄通用: 实现简单，方便跨语言，减少升级可能 最简单，最通用，支持最广 泛的寻址方式方式是什么？ 基于服务 发现的寻 址方式ü DNS寻址 • 支持度最好，使用最普遍 • 所有编程语言/平台都支持的 ü 产品的长期方向 • SOFAMesh和SOFAMosn中已经基于x-protocol实现了DNS通用寻址方式 • 为了兼容RPC应用和k8s（微服务）的服务注册模型，需要为每个RPC接口提供DNS支持 htmlCoreDNS 的记录更新CoreDNS 的记录更新CoreDNS 的记录更新CoreDNS 的Plugins https://coredns.io/pluginsCoreDNS 的性能 序号 对象 并发 QPS 总数 命中率/超时数 1 同机房 10 43899 2001674 (100%）|0 2 同机房 50 44369 2001674 (100%)|0 3 同机房 100 40815 2001674