www.top100summit.com Greenplum机器器学习⼯工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com Greenplum: 新一代开源大数据平台 Gemfire SQL 语法支持 需要提升 磁盘数据 不是核心焦点 并发性能 不是核心焦点 大数据关联 不是核心焦点 2017.thegiac.com ⽤用户案例例 1 Greenplum + MADlib 助⼒力力邮件营销 2017.thegiac.com 问题 ● 邮件⼴广告点击预测 模型不不够精准，需 要更更好的邮件营销 策略略 代码复杂冗余，很多数据类型 转换 ✓ 代码更更精简，更更便便于维护的代码 X 原始模型预测效果不不理理想 ✓ 新模型能够更更精准地预测⽬目标客 户 商业影响 2017.thegiac.com 用户案例例2 基于API日志的⾦金金融产品⽤用户分析 2017.thegiac.com 问题 ● 更更好地理理解不不同种 类的⽤用户 ● 更更好地了了解⽤用户与 APP的交互 ●

1 从 ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache

现代编程思想 案例：⾃动微分 Hongbo Zhang 1 微分 微分被应⽤于机器学习领域 利⽤梯度下降求局部极值 ⽜顿迭代法求函数解： 我们今天研究简单的函数组合 例： 2 ⽜顿迭代法 3 ⽜顿迭代法 4 ⽜顿迭代法 5 ⽜顿迭代法 6 ⽜顿迭代法 7 ⽜顿迭代法 8 ⽜顿迭代法 9 ⽜顿迭代法 10 ⽜顿迭代法 11 微分 微分被应⽤于机器学习领域 Forward::var(100.0, true) |> debug 23 案例：⽜顿迭代法求零点 1. fn example_newton[N : Number](x : N) -> N { 2. x * x * x + N::constant(-10.0) * x * x + x + N::constant(1.0) 3. } 24 案例：⽜顿迭代法求零点 通过循环进⾏迭代 1. fn init

现代编程思想 案例：基于梯度下降的神经⽹络 Hongbo Zhang 1 案例：鸢尾花 鸢尾花数据集是机器学习中的"Hello World" 1936年发布 包含对3种鸢尾花的测量，各有50个样本 每个样本包含4项特征：花萼与花瓣的⻓度和宽度 ⽬标 通过特征，判断属于哪⼀类鸢尾花 构建并训练神经⽹络，正确率95%以上 2 神经⽹络 神经⽹络是机器学习的⼀种 模拟⼈的⼤脑神经结构

现代编程思想 案例：栈式虚拟机 Hongbo Zhang 1 编译与解释 编译 源程序 x 编译器 -> ⽬标程序 ⽬标程序 x 输⼊数据 -> 输出数据 解释 源程序 x 输⼊数据 x 解释器 -> 输出数据 CPU可以被视为⼴义上的解释器 拓展阅读：⼆村映射/部分计算 部分计算：程序优化，根据已知信息，运算进⾏特化 已知源程序与解释器，进⾏部分运算，获得⽬标程序 ⽬标程序

现代编程思想 案例：语法解析器 Hongbo Zhang 1 语法解析器 案例⽬标 解析基于⾃然数的数学表达式： "(1+ 5) * 7 / 2" 转化为单词列表 LParen Value(1) Plus Value(5) Multiply Value(7) Divide Value(2) 转化为抽象语法树 Division(Multiply(Add(Value(1), Value(5))

关系运算符的结果都是 bool 类型，要么是 true , 要么是 false 2. 关系表达式，经常在 if 结构的条件中或者循环结构的条件中 关系运算法（比较运算符） 关系运算符表格 案例代码 细节说明 1. 关系运算符的结果都是 bool 类型， 也就是要么是 true， 要么是 false 2. 关系运算符组成的表达式，我们称为关系表达式： a > b 3.比较运算符 “==” 字符串 符号 分隔符 Go 语言一行代表一个语句的结束，不像 C 家族语言一样以分号结束 如果一个语句写多行就需要加一个分号，不推荐 字符串连接 Go 语言字符串连接通过 `+` 实现 案例 ： fmt.Println("Google " + "Runoob") 关键字 关键字或保留字 预定义标识符 Go 语言的空格 1. 变量声明必须用空格隔开。例如: var age int 类型数据只允许取值 ture 和 flase 2. bool 类型占 1个字节 3. bool 类型适用与逻辑运算，一般用于程序流程控制 运用场景 if 条件控制语句 for 循环控制语句 测试案例 2. 数字类型 int , float32, float64 ， Go 语言支持整型和浮点数字，并且支持复数，其中位运算采用补码 数字类型 uint8 无符号 8 位整性 0 - 256