## Greenplum机器学习工具集和案例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com ## 大纲 • Greenplum 大数据平台 • Greenplum 机器学习工具 • Greenplum 机器学习案例 ## Pivotal ## Greenplum: 新一代开源大数据平台 2017.thegiac.com ## Greenplum 集群 ! 开放源代码，持续大力投入 - 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 ## Pivotal ## Greenplum: 机器学习工具集 2017.thegiac.com ## Greenplum 机器学习工具集 PL/X：各种语言实现自定义函数（存储过程） - MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText: 文本检索和分析 • GeoSpatial: 66% 该模型更善于预测会点击邮件的用户， 这样是用户真正关心的，能为公司带来 价值的用户群体 ## 商业影响 |改良前|改良后| |---|---| |✗ 对数据集的探索有限|✓ 在Greenplum里充分探索了数据集| |✗ 对Pivotal产品线不熟悉|✓ 在Greenplum上充分利用了MADlib和PL/X| |✗ 在SAS和Excel上有很多手动流程|✓ 在Greenplum内部实现了流程自动化|

## PyTorch ## RNN训练难题 主讲人：龙良曲  ## Simple Yet? Nothing is straightforward. ![Image](/uploads/documents/a/b/d/0/abd0d93

## 阿里巴巴研发效能实践日 ## 战略项目集管理下的敏捷应用 申建（项目管理专家） ## 视频回放及往期内容精华 ☐ ☐ ☐ ☐ 扫码观看本次活动视频回放  扫码获取往期阿里研发效能精华 ![Image](/uploads/do ## 弹性计算PMO的演进 班车发布 + 单项目 Feature + 单项目 RM + PM FM + PM 战略项目集 + 需求管理 + 研发效率 PMO + PM ## 战略项目集的生产过程 弹性计算财年战略规划 协作单元财年策略规划 战略项目集规划 需求管理 研发效能 ## 需求管理+研发效能 客户可见功能 产品 Roadmap 产品线需求池 产品 Backlog Runlnstances oOpenapi instance neceName/hostna me需要支持自定义后缀|提供slb innerapi 查询eci信息|弹性伸缩支持hpc clusterD/部署集等,configuration 配置recs api 尽量对齐|ECS SLA大盘管控核心API统计数据接口|Review一下所有的错误消息。| |时间分析|66-28|65-31|65-31|65-21|65-21|65-28|闲货|

黄海广 副教授 2023年03月 ## 本章目录 01 数据集划分 02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 ## 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selec selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证  1. 使用训练集训练出10个模型 2. 用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值） ## 数据集制作 PyTorch的dataloader是用于读取训练数据的工具，它可以自动将数据分割成小batch，并在训练过程中进行数据预处理。 DataLoader

[Image](/uploads/documents/a/3/b/b/a3bbe1f6675c3cec959e1f224b976c60/p1_2.jpg) PYTHON 30th ## 使用Python训练和部署低精度模型 (TensorFlow版) 张校捷 2019/9/21 ## 目录 >> 低精度的概念和意义 TensorFlow的FP16模型 >> TensorRT的FP16/Int8模型 n_lists.h  ## FP16训练模型精度 Table 1: ILSVRC12 classification top-1 accuracy. |Model|Baseline|Mixed Precision|Reference|

案例：基于梯度下降的神经网络 Hongbo Zhang ## 案例：鸢尾花 • 鸢尾花数据集是机器学习中的"Hello World" ☐ 1936年发布 包含对3种鸢尾花的测量，各有50个样本 ☐ 每个样本包含4项特征：花萼与花瓣的长度和宽度 目标 ☐ 通过特征，判断属于哪一类鸢尾花 ◦ 构建并训练神经网络，正确率95%以上 ## 神经网络 - 神经网络是机器学习的一种 9. outputs |> softmax 10. } ## 神经网络训练 • 损失函数 ☐ 评估当前结果与预期结果之间的“差距” ☐ 我们选择交叉熵 • 梯度下降 ☐ 梯度决定参数的调整方向 • 学习率 ☐ 学习率决定参数的调整幅度 ☐ 我们选择指数下降，逐渐逼近 ## 神经网络训练 • 多分类问题交叉熵： $ I(x_{j})=-\ln(p(x_{j})) $ Log](inputs: Array[T], expected: Int) -> Double { 5. -inputs[expected].log().value() 6. } ## 神经网络训练 ## • 后向微分：计算梯度 ☐ 从现有参数构建，积累微分 1. fn Backward::param(param: Array[Array[Double]], diff: Array[Array[Double]]

17-6.18 @Shanghai Rust China Conf 2023 # Rust OS 开源操作系统训练营的教与学 李明 清华大学 2023-6-17 ## 1 Rust OS 开源训练营的起因和发展 ## 鹏城实验室 PENGCHENG LABORATORY ## 开源操作系统训练营的起源（2020年） |30|||| 训练营过去三年的发展情况 2020年 ~ 2022年 • 2020年 • 夏季训练营 2020.7.1 ~ 8.31 • 2021年 CSCC 全国大学生计算机系统能力大赛 • 夏季训练营 2021.7.1 ~ 7.31 2022年 CSCC 全国大学生计算机系统能力大赛 • 夏季训练营 2022.7.3 ~ 8.31 • 秋冬季训练营 2022.10.16 Hub of OS Kernel ## 2023 开源操作系统训练营 • 2023.05.27：在5月底前完成第二阶段 rCore OS 实验的全部内容，排行榜分数达到500分（满分）或类似的能力证明的同学，可联系李明老师了解详情，参加内容丰富的线下实习计划。实习地点在北京/济南。 ·2023.05.07：部分已经完成训练营第二阶段训练的同学，可联系李明老师，与全国的学生/工程师一起参加各种有趣挑战性的小项目

## 七 牛AI训练业务的K8S实践 袁晓沛 七牛容器云负责人 ## QCon 全球软件开发大会 10⽉17-19⽇上海·宝华万豪酒店  扫码锁定席位 ## 九 折即将结束 团购还享更多优惠，折扣有效期至9月17日 扫描右方二维码即可查看大会信息及购票 扫描添加E小欧， 邀您进入EGO会员预报名群 立即报名 TECHNOLOGY EGO ## TABLE OF CONTENTS AI训练的业务情况 AI训练的痛点 为什么用K8S 基于K8S的AI训练 一次踩坑经历 接下来的工作 ## AI训练流程 ![Image](/uploads/documents/1/e/a/e/1eae6abc6c8389e508255ddf048c8d7f/p6_1 创建 训练样本集 Name 供训练任务高速读取 resize, shuffle, stats 训练参数 ServingGate 开放 API 访问 私有 API 访问 按版本访问 启动训练 模型推理 API AppName, AppVersion 一键部署 分阶段发布 分布式、容器化 发布 启动评测 独立评测任务ID 容器化 评测参数 ## AI训练迭代 原始数据

Facol Loss 带来了什么 - 应用：检测数据准备与标注 - 应用：划分检测训练集与测试集 - 应用：生成 CSV 格式数据集与标注 - 应用：使用 TensorFlow 2 训练 RetinaNet - 应用：使用 RetinaNet 检测货架商品 - 扩展：目标检测常用数据集综述 - 扩展：目标检测更多应用场景介绍 ## 基础：目标检测问题定义与说明 ## 目标检测问题 生成的proposal的数目（不同的方法输出是不同的）； • bbox的编码方式，是预测offset还是相对位置？ - 数据预处理的数据增强方法； - 定位误差函数的实现方法； - 不同AI框架； - 训练时候的不同设置参数，如batch_size, 输入图片大小，学习率，学习衰减率等因素； ## 应用：检测数据准备与标注 ## 检测数据标注工具-labelImg ![Image](/uploads move selected rect box| ## Try it! # 应用：使用 TensorFlow 2 训练 RetinaNet ## Try it! # 应用：使用 RetinaNet 检测货架商品 ## Try it! 扩展：目标检测常用数据集综述 ## 通用目标检测数据集 ILSVRC • The ImageNet Large Scale Visual Recognition Challenge