val val mut ref = { val : 1 } ref = { val : 10 } ref ref 1 1 val val 10 val 9 别名 指向相同的可变数据结构的两个标识符可以看作是别名 1. fn alter(a: Ref[Int], b: Ref[Int]) { 2. a.val = 10 3. b.val = 20 4. } 5. 6. val : 1 } 8. alter(x, x) 9. println(x.val.to_string()) // x.val的值将会被改变两次 10. } 10 别名 指向相同的可变数据结构的两个标识符可以看作是别名 x val 1 alter(x, x) a init b x val 10 alter(x, x) a init b x val 20 alter(x ⽉兔也会检查函数返回结果是否与类型声明相同，可以避免错误的返回类型声明 21 可变数据 使⽤场景⼴泛 直接操作程序外环境，如硬件等 ⼀些情况下性能更好，如随机访问数组等 可以构建部分复杂数据结构，如图 重复利⽤空间（原地修改） 可变数据并不总是与引⽤透明性冲突 1. fn fib_mut(n: Int) -> Int { // 对于相同输⼊，总是有相同输出 2. let mut

Outbrain 比赛介绍详情 [26]。参赛选手会面对以下两个 重要挑战： ● 异构性：平台提供需求方平台（DSP）广告投放服务，涉及到用户在数千个异 质站点上的行为刻画。 ● 超高维稀疏性：特征高维稀疏，数据规模庞大，包含了 7 亿个用户、20 亿次 浏览记录。 基于多层级多因子的模型融合方案：针对本次赛题的挑战，我们队采用了基于多层级 多因子的模型融合方案来进行建模。一方面对于异构站点行为，单一模型不易于全 站点行为，单一模型不易于全 面刻画，另一方面，亿级别的数据规模给多模型的分别优化带来了较大的空间。由 于 FFM 具有强大的特征交叉能力以及较强的泛化能力，能更好地处理高维稀疏特征。 因此，我们选择该模型作为融合基模型的主模型。模型融合通过不同模型学习到有差 异性的内容，从而有效挖掘用户在不同站点上的异质行为。模型融合的关键是产生并 结合“好而不同”的模型 [3][4]。基于多层级多因子的模型融合方案首先通过模型差异 分，许多显示交叉特征如用户商品点击率等往往有较强的业务意义，让模型直接感知 组合好的特征往往比自动学习特征间的关系更为简单；第三方面对于许多高维度稀疏 ID 特征，如亿级别以上的推荐或广告场景中，DeepFM、DeepFFM 对于这些特征 的学习很难充分，自动化特征工程能给这些稀疏 ID 构造很强的特征表示。 算法 < 55 3.3 自动化模型优化 图 15 自动化模型优化 基于重要度的网格搜索：在我

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469 42 集合和数据结构 471 42.1 迭代 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 序列化 1095 83 共享数组 1097 84 套接字 1099 85 稀疏数组 1105 85.1 压缩稀疏列 (CSC) 稀疏矩阵存储 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1105 85.2 稀疏向量储存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1106 85.3 稀疏向量与矩阵构造函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1106 85.4 稀疏矩阵的操作 . . . . . . . . . . . . . . . . . . . . . . .

的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 54 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 55 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 ： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 63 Python模块-Pandas ⚫ 基本数据结构 Series 一维数据结构，包含行索 引和数据两个部分 DataFrame 二维数据结构，包含 带索引的多列数据， 各列的数据类型可能 不同 64 Python模块-Pandas ⚫ 数据索引 df[5:10] 通过切片方式选取多行

的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 55 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 56 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 ： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 64 Python模块-Pandas ⚫ 基本数据结构 Series 一维数据结构，包含行索 引和数据两个部分 DataFrame 二维数据结构，包含 带索引的多列数据， 各列的数据类型可能 不同 65 Python模块-Pandas ⚫ 数据索引 df[5:10] 通过切片方式选取多行

用户id，只需要40亿bit位， 约477m大小 = （4 * 109 / 8 / 1024 / 1024） 但是如果使用上述的数据结构存储单独一个较大数值的数字id，会造成空间上的浪费，例如 仅存储40亿一个数值也需要477m的空间。也就是说稀疏的Bitmap和稠密的占用空间相 同。通常会使用一种bitmap压缩算法迚行优化。 RoaringBitmap是一种已被业界广泛使用的 Container  Run Container  Bitmap Container 10 RoaringBitmap原理介绍 11 丌仅数据结构设计精巧，而且还有 很多高效的Bitmap计算函数。 稀疏数据，劢态分配 最大存储：4096元素 最大空间：8KB 连续数据，劢态分配 最大存储：65536元素 最大空间：128KB 稠密数据，固定大小 最大存储：65536元素

One-hot 编码为[1,0,0,… ,0]，图片 2 的 One- hot 编码为[0,0,1, … ,0]，图片 9 的 One-hot 编码为[0,0,0, … ,1]。One-hot 编码是非常稀疏 (Sparse)的，相对于数字编码来说，占用较多的存储空间，因此一般在存储时还是采用数字 编码方式，仅在计算时，根据需要把数字编码转换成 One-hot 编码，通过 one_hot 函数即可 实现。 现在回到手写数字图片识别任务，输入是一张打平后的图片向量? ∈ ?784，输出是一 个长度为 10 的向量 ∈ ?10，图片的真实标签?经过 One-hot 编码后变成长度为 10 的非 0 即 1 的稀疏向量? ∈ {0,1}10。预测模型采用多输入、多输出的线性模型 = ?? + ?，其中 模型的输出记为输入的预测值 ，通常希望 越接近真实标签?越好。一般把输入经过一次 (线性)变换叫作一层网络。 列，每个位置有 RGB 3 个通道的数据；张量的存储体 现在张量在内存上保存为一段连续的内存区域，它类似于向量的一维结构，无法表达高维 预览版202112 4.7 维度变换 23 数据结构。因此对于同样的存储，可以有不同的维度理解方式，比如上述张量?，可以在 不改变张量的存储的条件下，将张量?理解为 2 个样本，每个样本的特征是长度 48 的向 量，甚至还可以理解为 4 个样本，每个样本的特征是长度为

Python 实现。Keras 没有特定格式的单独配置文件。模型定义在 Python 代码中，这 些代码紧凑，易于调试，并且易于扩展。 1.3 快速开始：30 秒上手 Keras Keras 的核心数据结构是 model，一种组织网络层的方式。最简单的模型是 Sequential 顺 序模型，它是由多个网络层线性堆叠的栈。对于更复杂的结构，你应该使用 Keras 函数式 API， 它允许构建任意的神经网络图。 两次）。如未提供，将自动生成。 • dtype: 输入所期望的数据类型，字符串表示 (float32, float64, int32…) • sparse: 一个布尔值，指明需要创建的占位符是否是稀疏的。 • tensor: 可选的可封装到 Input 层的现有张量。如果设定了，那么这个层将不会创建占位 符张量。 返回 一个张量。 例 # 这是 Keras 中的一个逻辑回归 x = 1（整数）。 异常 • ValueError: 如果 value 既不是 0 也不是 1。 is_sparse keras.backend.is_sparse(tensor) 判断张量是否是稀疏张量。 参数 • tensor: 一个张量实例。 返回 布尔值。 例子 >>> from keras import backend as K >>> a = K.placeholder((2

PRODUCT 基于可视化编程语言 基于通用语言封装的可视化开发语言，具 备完善的静态类型系统和组件扩展机 制，适合 80% 企业级应用开发，灵活性 高，可靠性强。 数据模型驱动 可视化构建实体、数据结构、枚举等低 代码数据模型，自动生成数据库表和页 面交互。 支持企业集成 能够通过 API 集成企业内部的服务，实 现应用组装。 业务与流程融合 流程引擎基于 BPMN2.0 规范，可视化 流程开发，可支持如请假、入职、离职等 分布式储存引擎（HDFS） X86服务器 国产ARM服务器 国产AI生态的K8S集群 GPU/CPU/高性能计算集群 Infrastructure（产品化基础架构） AlgorithmEngine（大规模稀疏、图神经网络、分布式计算、计算框架服务） 实时开发 租户管理 调度管理 客户画像 客户分析管理 客户旅程管理与侦测 客户转化分析 营销渠道管理 营销活动管理与监控 营销费用管理

个图叫做根目录（“/”）：因此子目录有父目录，并且一条路径显示了一个文件完整的祖先。也有相对路径从其他地 方开始，而不是从根目录。你应该还记得目录“../”指向父目录。这个术语也适用于其他类似目录的结构，如分层 数据结构。 • 对于一个物理设备, 是没有一个特定的目录路径名来对应的组成部分. 这不同于RT-11, CP/M,OpenVMS,MS- DOS,AmigaOS, 以及微软的 Windows，这些系统存 设备的交互，如控制台和远程串口终端都是以统一的方式呈现在“/ dev /”下面。 每个文件、目录、命名管道（一种两个程序间共享数据的方法）或 Debian GNU/Linux 系统上的物理设备都有一个叫做 inode的数据结构，描述了其相关属性，例如拥有它的用户（所有者），它属于的组，最后一次访问时间，等等。把所有 东西都表示在文件系统中的想法是来源于 Unix，现代的 Linux 内核则将这个思路进行了扩展。现在，甚至有关计算机 节）。 Debian 参考手册 15 / 233 1.2.12 procfs 和 sysfs procfs和sysfs两个伪文件系统，分别加载于”/proc” 和”/sys” 之上，将内核中的数据结构暴露给用户空间。或者说， 这些条目是虚拟的，他们打开了深入了解操作系统运行的方便之门。 目录”/proc” 为每个正在运行的进程提供了一个子目录，目录的名字就是进程标识符（PID）。需要读取进程信息的系