学习问题的分类法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 4.9.5 机器学习中的公平、责任和透明度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 4.10 实战Kaggle比赛：预测房价 . . . . . . . . . 量样本。 然而，并不是所有的数据都可以用“固定长度”的向量表示。以图像数据为例，如果它们全部来自标准显微 镜设备，那么“固定长度”是可取的；但是如果图像数据来自互联网，它们很难具有相同的分辨率或形状。这 时，将图像裁剪成标准尺寸是一种方法，但这种办法很局限，有丢失信息的风险。此外，文本数据更不符合 “固定长度”的要求。比如，对于亚马逊等电子商务网站上的客户评论，有些文本数据很简短（比如“好极 analysis）问题：我们能否找到少量的参数来准确地捕捉数据的线 性相关属性？比如，一个球的运动轨迹可以用球的速度、直径和质量来描述。再比如，裁缝们已经开发 出了一小部分参数，这些参数相当准确地描述了人体的形状，以适应衣服的需要。另一个例子：在欧几 里得空间中是否存在一种（任意结构的）对象的表示，使其符号属性能够很好地匹配?这可以用来描述 实体及其关系，例如“罗马”− “意大利”+ “法国”= “巴黎”。

要在不同的输入上共享同一个层，只需实例化该层一次，然后根据需要传入你想要的输入 即可： # 这一层可以输入一个矩阵，并返回一个 64 维的向量 shared_lstm = LSTM(64) # 当我们重用相同的图层实例多次，图层的权重也会被重用 (它其实就是同一层) encoded_a = shared_lstm(tweet_a) encoded_b = shared_lstm(tweet_b) # 然后再连接两个向量： 输出），并且为该层添加 一个「节点」，将输入张量连接到输出张量。当多次调用同一个图层时，该图层将拥有多个节点 索引 (0, 1, 2…)。 在之前版本的 Keras 中，可以通过 layer.get_output() 来获得层实例的输出张量，或者通 过 layer.output_shape 来获取其输出形状。现在你依然可以这么做（除了 get_output() 已经 被 output 属 矩阵的列表形式返回层的权重。 • layer.set_weights(weights): 从含有 Numpy 矩阵的列表中设置层的权重（与 get_weights 的输出形状相同）。 • layer.get_config(): 返回包含层配置的字典。此图层可以通过以下方式重置： layer = Dense(32) config = layer.get_config() reconstructed_layer

元素依次代表了当前像素点上面的 R、G、B 颜色强值，因此彩色图片需要保存为形状是 [ℎ, ?, 3]的张量(Tensor，可以通俗地理解为 3 维数组)。如果是灰度图片，则使用一个数值 来表示灰度强度，例如 0 表示纯黑，255 表示纯白，因此它只需要一个形状为[ℎ, ?]的二维 矩阵(Matrix)来表示一张图片信息(实际上，也可以保存为[ℎ, ?, 1]形状的张量)。图 3.3 演示 了内容为 8 的数字图片的矩阵内容，可以看到，图片中黑色的像素用 型的训练。 网络中每张图片的计算流程是通用的，因此在计算的过程中可以一次进行多张图片的 计算，充分利用 CPU 或 GPU 的并行计算能力。如果用形状为[ℎ, ?]的矩阵来表示一张图 片，对于多张图片来说，在前面添加一个数量维度(Dimension)，使用形状为[?, ℎ, ?]的张量 来表示，其中?代表了批量大小(Batch Size)，这里?设置为 512；多张彩色图片可以使用形 状为[?, ℎ, # 加载一个批数据，并观察数据形状 x, y = next(iter(train_loader)) print(x.shape, y.shape, x.min(), x.max()) plot_image(x, y, 'Image') # 观察图片 运行可得批中 x 的形状为：torch.Size([512, 1, 28, 28])，y 的形状为 torch.Size([512])，分别

查看张量的属性  查看Tensor类型  tensor1 = torch.randn(2,3) #形状为(2,3)一组从标准正态分布 中随机抽取的数据  tensor1.dtype # torch.float32  查看Tensor维度和形状  tensor1.shape #查看形状或尺寸  tensor1.ndim #查看维度  查看Tensor是否存储在GPU上  tensor1 x.clone() np.concatenate torch.cat 线性代数 np.dot torch.mm 属性 x.ndim x.dim() x.size x.nelement() 形状操作 x.reshape x.reshape(相当于 tensor.contiguous().view()); x.view x.flatten x.view(-1)；nn Flatten() 类型转换 导 对 非 标 量 求 导 直 接 使 用 L.backward()函 数 配 置 backward()函 数 中 g r a d i e n t 参 数 ， 使 其 形 状 与 函 数 L形状一样，其权重一般为1（也可 小于1） 使 用 t e n s o r.grad查 看 叶 子 节 点 的 梯 度 如 果 需 要 保 存 非 叶 子 节 点 梯 度 ， 需 使 对 应 张

AlexNet (右) 7 • 在 AlexNet 的第一层，卷积窗口的形状是 11×11 。由于大 多数 ImageNet 中图像的宽和高比 MNIST 图像的多10倍以 上，因此，需要一个更大的卷积窗口来捕获目标。 第二层 中的卷积窗形状被缩减为 5×5 ，然后是 3×3 。 此外，在 第一层、第二层和第五层之后，加入窗口形状为 3×3 、步 幅为 2 的最大池化层。 此外，AlexNet

2., 3., 4., 1., 2., 3., 4., 1., 2.]) 还可以自定义函数产生ndarray。 fromfunction第一个参数接收计算函数，第二个参数接收数组的形状。 17 ndarray的属性 ndarray的元素具有相同的元素类型。常用的有int（整型），float（浮点型）， complex（复数型）。 > a = np.array([1, 2, 3, 4], dtype=float) array([ 1., 2., 3., 4.]) > a.dtype dtype('float64') ndarray的shape属性用来获得它的形状，也可以自己指定 。 > c = np.array([[1, 2, 3, 4], [4, 5, 6, 7], [7, 8, 9, 10]]) > c.shape (3, 4) > a = np.array([1 要把它转换 成整型。 y.astype(np.int) 29 广播(broadcasting) 使用ufunc对两个数组进行运算时，ufunc函数会对两个数组的对应元素进 行运算。如果数组的形状不相同，就会进行下广播处理。 简而言之，就是向两个数组每一维度上的最大值靠齐。 30 广播(broadcasting) 31 广播(broadcasting) 我们看一下具体的例子： >

理内存量。通过结合多项独有的技术，VMware ESX 可在尽量不影响性能的前提下支持内存过量使用。 基于内容的透明内存页面共享能够在具有类似客户操作系统的多个虚拟机间找出完全相同的内存页面， 并对其进行整合，使其仅存储一次并彼此共享，从而减少了内存使用量。通常，仅使用透明页面共享就 可以通过整合完全相同的内存页面节省 5% 到 30% 的服务器总内存，具体取决于 VMware ESX 主 机上运行的操作系统和工作负载的相似性。 提供了聚合、迁移、分配、电源管理和可用性服务，这些服 务对在虚拟数据中心运行业务应用程序非常关键。 图 1. VMware Infrastructure 作为共享 IT 服务平台 8 实时的服务器和存储迁移：透明的灵活性 “我不会将关键业务系统放在 Microsoft Hyper-V 之类依赖操作系统的虚拟化解决方案上。我们都知 道，操作系统以补丁程序和漏洞而声名狼藉。而且其他虚拟化产品缺乏 VMware Storage vMotion，允许将虚拟机文件从一 个存储阵列实时地迁移到另一个存储阵列，而且不会产生可以察觉的中断。为了能够将共享存储快速 连接到虚拟化服务器，虚拟机文件从一个阵列到另一个阵列的透明迁移非常关键。目前尚没有任何其 他虚拟化平台供应商提供可与 VMware Storage vMotion 媲美的产品。 通过 VMware vMotion 和 VMware Storage vMotion，IT

Mesh零信任 mTLS服务间访问授权，主要针对Pod层WorkLod的访问控制 应用透明，全局管理视角，细粒度安全策略 Check&Report机制影响通信性能，并只涉及到服务 通信级别的安全，对node没有防护 Calico零信任 主要针对Node层的访问控制，可以让攻击者难以横向移动，隔离了风险 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全 采用IpTables，有一定的性能消耗 采用IpTables，有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案， 克服了Calico SDN安全和性能方面的不足 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全，端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件：数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 利用HTAP模式，可以将查询和分析合并 起来，更加节约成本，并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 DB计算层 分布式共享 存储 分布式 内存 DB计算层 分布式共享 存储 分布式 内存 TDE透明加密 SSL • 在SSL和TDE保护下，好像数据在传输和存储过程中得到了保护，但是TDE 是存储时加密、计算层读取时解密，否则计算层无法进行计算。 • 计算层获得的数据依然是明文，非法用户依然可以通过dump手段获得数据

也有各种功能， 每次升级都要重新发布应用 业务进程专注于业务逻辑 SDK 中的大部分功能， 拆解为独立进程， 以 Sidecar 的模式运行 将服务治理能力下沉到基础设施，实现独立演进，透明升级7/39 异构系统统一治理 Part 1： 为什么需要Service Mesh? 多语言、多协议 图片来源：https://www.redhat.com/en/topics/mi 管控性和可观测性不好23/39 Part 3： 蚂蚁金服的产品实践 平滑迁移 初始状态24/39 Part 3： 蚂蚁金服的产品实践 平滑迁移 透明迁移调用方25/39 Part 3： 蚂蚁金服的产品实践 平滑迁移 透明迁移服务方26/39 Part 3： 蚂蚁金服的产品实践 平滑迁移 终态27/39 Part 3： 蚂蚁金服的产品实践 多协议支持 • 加强控制平面的存储能力 3. 融合传统注册中心的分发能力 Nacos sync 其他注册中心 MCP • 协议标准化 • 能力差异化 36/39Part 3： 展望未来 支持透明劫持 • 很多用户对性能要求没那么敏感，同时有大量遗留系统希望通过 Service Mesh 实现统一管控 • 增强管控性和可观测性 37/3938/39 一、为什么需要 Service

间）创建不可变的容器镜像，因为每个应⽤程序⽆需与其余的应⽤程序 栈组合，也⽆需与⽣产基础架构环境结合。 在构建/发布期间⽣成容器镜像使得从开发到⽣产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于监控和管理——特别是当容器进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 解决⽅案进⼊笔者视野： 部署⽅案 优点 缺点 Kubeadm 官⽅出品 部署较麻烦、不够透明 Kubespray 官⽅出品、部署较简单、懂Ansible就能上⼿ 不够透明 RKE 部署较简单、需要花⼀些时间了解RKE的cluster.yml配置 ⽂件 不够透明 ⼿动部署 第三⽅操作⽂ 档 完全透明、可配置、便于理解K8s各组件之间的关系 部署⾮常麻烦，容易出 错 其他诸如Kops之类的 Distributed System ToolKit: Patterns for Composite Containers 考虑替代⽅案 为什么不在单个（Docker）容器中运⾏多个程序？ 1. 透明。 使Pod中的容器对基础设施可⻅，以便基础设施为这些容器提供服务，例如进程管理和资源监控。 这为⽤ 户提供了⼀些便利。 2. 解耦软件依赖。各个容器可以独⽴进⾏版本管理、重建和重新部署。 未来