-
## Greenplum机器学习工具集和案例
姚延栋
Pivotal 研发技术总监
2017.thegiac.com
## 大纲
• Greenplum 大数据平台
• Greenplum 机器学习工具
• Greenplum 机器学习案例
## Pivotal
## Greenplum: 新一代开源大数据平台
2017.thegiac.com
## Greenplum 集群
! 开放源代码,持续大力投入
- 敏捷方法学:快速迭代、持续发布、质量内建
• 企业级稳定性,成熟生态系统
## Pivotal
## Greenplum: 机器学习工具集
2017.thegiac.com
## Greenplum 机器学习工具集
PL/X:各种语言实现自定义函数(存储过程)
- MADLib: 数据挖掘、统计分析、图(Graph)等算法
• GPText: 文本检索和分析
• GeoSpatial: 66%
该模型更善于预测会点击邮件的用户,
这样是用户真正关心的,能为公司带来
价值的用户群体
## 商业影响
|改良前|改良后|
|---|---|
|✗ 对数据集的探索有限|✓ 在Greenplum里充分探索了数据集|
|✗ 对Pivotal产品线不熟悉|✓ 在Greenplum上充分利用了MADlib和PL/X|
|✗ 在SAS和Excel上有很多手动流程|✓ 在Greenplum内部实现了流程自动化|
0 码力 |
58 页 |
1.97 MB
| 2 年前 3
-
## 阿里巴巴研发效能实践日
## 战略项目集管理下的敏捷应用
申建(项目管理专家)
## 视频回放及往期内容精华
☐ ☐ ☐ ☐
扫码观看本次活动视频回放

扫码获取往期阿里研发效能精华

## Simple Yet?
Nothing is straightforward.
:帮助我们训练模型,简单的说就是通过训练集的数据让我们确定拟合曲线的参数。
验证集(Validation Set):也叫做开发集(Dev Set),用来做模型选择(model selec selection),即做模型的最终优化及确定的,用来辅助我们的模型的构建,即训练超参数,可选;
测试集(Test Set):为了测试已经训练好的模型的精确度。
三者划分:训练集、验证集、测试集
机器学习:60%,20%,20%;70%,10%,20%
深度学习:98%,1%,1%(假设百万条数据)
## 交叉验证

1. 使用训练集训练出10个模型
2. 用10个模型分别对交叉验证集计算得出交叉验证误差(代价函数的值)
3. 选取代价函数值最小的模型
4. 用步骤3中选出的模型对测试集计算得出推广误差(代价函数的值)
## 数据集制作
PyTorch的dataloader是用于读取训练数据的工具,它可以自动将数据分割成小batch,并在训练过程中进行数据预处理。
DataLoader
0 码力 |
19 页 |
1.09 MB
| 2 年前 3
-
[Image](/uploads/documents/a/3/b/b/a3bbe1f6675c3cec959e1f224b976c60/p1_2.jpg)
PYTHON 30th
## 使用Python训练和部署低精度模型
(TensorFlow版)
张校捷
2019/9/21
## 目录
>> 低精度的概念和意义
TensorFlow的FP16模型
>> TensorRT的FP16/Int8模型 n_lists.h

## FP16训练模型精度
Table 1: ILSVRC12 classification top-1 accuracy.
|Model|Baseline|Mixed Precision|Reference|
0 码力 |
24 页 |
981.45 KB
| 2 年前 3
-
案例:基于梯度下降的神经网络
Hongbo Zhang
## 案例:鸢尾花
• 鸢尾花数据集是机器学习中的"Hello World"
☐ 1936年发布
包含对3种鸢尾花的测量,各有50个样本
☐ 每个样本包含4项特征:花萼与花瓣的长度和宽度
目标
☐ 通过特征,判断属于哪一类鸢尾花
◦ 构建并训练神经网络,正确率95%以上
## 神经网络
- 神经网络是机器学习的一种
9. outputs |> softmax
10. }
## 神经网络训练
• 损失函数
☐ 评估当前结果与预期结果之间的“差距”
☐ 我们选择交叉熵
• 梯度下降
☐ 梯度决定参数的调整方向
• 学习率
☐ 学习率决定参数的调整幅度
☐ 我们选择指数下降,逐渐逼近
## 神经网络训练
• 多分类问题交叉熵: $ I(x_{j})=-\ln(p(x_{j})) $ Log](inputs: Array[T], expected: Int) -> Double {
5. -inputs[expected].log().value()
6. }
## 神经网络训练
## • 后向微分:计算梯度
☐ 从现有参数构建,积累微分
1. fn Backward::param(param: Array[Array[Double]], diff: Array[Array[Double]]
0 码力 |
17 页 |
521.66 KB
| 2 年前 3
-
17-6.18 @Shanghai
Rust China Conf 2023
# Rust OS 开源操作系统训练营的教与学
李明
清华大学
2023-6-17
## 1 Rust OS 开源训练营的起因和发展
## 鹏城实验室 PENGCHENG LABORATORY
## 开源操作系统训练营的起源(2020年)
|30||||
训练营过去三年的发展情况
2020年 ~ 2022年
• 2020年
• 夏季训练营 2020.7.1 ~ 8.31
• 2021年 CSCC 全国大学生计算机系统能力大赛
• 夏季训练营 2021.7.1 ~ 7.31
2022年
CSCC 全国大学生计算机系统能力大赛
• 夏季训练营 2022.7.3 ~ 8.31
• 秋冬季训练营 2022.10.16 Hub of OS Kernel
## 2023 开源操作系统训练营
• 2023.05.27:在5月底前完成第二阶段 rCore OS 实验的全部内容,排行榜分数达到500分(满分)或类似的能力证明的同学,可联系李明老师了解详情,参加内容丰富的线下实习计划。实习地点在北京/济南。
·2023.05.07:部分已经完成训练营第二阶段训练的同学,可联系李明老师,与全国的学生/工程师一起参加各种有趣挑战性的小项目
0 码力 |
26 页 |
2.62 MB
| 2 年前 3
-
0 码力 |
17 页 |
1.31 MB
| 2 年前 3
-
## 七 牛AI训练业务的K8S实践
袁晓沛
七牛容器云负责人
## QCon 全球软件开发大会
10⽉17-19⽇上海·宝华万豪酒店

扫码锁定席位
## 九 折即将结束
团购还享更多优惠,折扣有效期至9月17日
扫描右方二维码即可查看大会信息及购票 扫描添加E小欧,
邀您进入EGO会员预报名群
立即报名
TECHNOLOGY
EGO
## TABLE OF CONTENTS
AI训练的业务情况
AI训练的痛点
为什么用K8S
基于K8S的AI训练
一次踩坑经历
接下来的工作
## AI训练流程

Open RISC-V Reference Card
Base Integer Instructions: 101 ..... 15
1.4 全书的总览 ..... 19
1.5 结束语 ..... 20
1.6 扩展阅读 ..... 21
第二章 RV32I: RISC-V 基础整数指令集 ..... 23
2.1 导言 ..... 23
2.2 RV32I 指令格式 ..... 23
2.3 RV32I 寄存器 ..... 26
2.4 RV32I 整数计算 ....
2.7 RV32I 无条件跳转 ..... 31
2.8 RV32I 杂项 ..... 31
2.9 使用插入排序比较 RV32I, ARM-32, MIPS-32 和 x86-32 指令集 ..... 32
2.10 结束语 ..... 32
2.11 扩展阅读 ..... 33
第三章 RISC-V 汇编语言 ..... 41
3.1 导言 ..... 41
3.2 0 码力 |
164 页 |
8.85 MB
| 2 年前 3
|