## Greenplum机器学习工具集和案例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com ## 大纲 • Greenplum 大数据平台 • Greenplum 机器学习工具 • Greenplum 机器学习案例 ## Pivotal ## Greenplum: 新一代开源大数据平台 2017.thegiac.com ## Greenplum 集群 ! 开放源代码，持续大力投入 - 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 ## Pivotal ## Greenplum: 机器学习工具集 2017.thegiac.com ## Greenplum 机器学习工具集 PL/X：各种语言实现自定义函数（存储过程） - MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText: 文本检索和分析 • GeoSpatial: 66% 该模型更善于预测会点击邮件的用户， 这样是用户真正关心的，能为公司带来 价值的用户群体 ## 商业影响 |改良前|改良后| |---|---| |✗ 对数据集的探索有限|✓ 在Greenplum里充分探索了数据集| |✗ 对Pivotal产品线不熟悉|✓ 在Greenplum上充分利用了MADlib和PL/X| |✗ 在SAS和Excel上有很多手动流程|✓ 在Greenplum内部实现了流程自动化|

## 阿里巴巴研发效能实践日 ## 战略项目集管理下的敏捷应用 申建（项目管理专家） ## 视频回放及往期内容精华 ☐ ☐ ☐ ☐ 扫码观看本次活动视频回放  扫码获取往期阿里研发效能精华 ![Image](/uploads/do ## 弹性计算PMO的演进 班车发布 + 单项目 Feature + 单项目 RM + PM FM + PM 战略项目集 + 需求管理 + 研发效率 PMO + PM ## 战略项目集的生产过程 弹性计算财年战略规划 协作单元财年策略规划 战略项目集规划 需求管理 研发效能 ## 需求管理+研发效能 客户可见功能 产品 Roadmap 产品线需求池 产品 Backlog Backlog ECS需求总池 非产品线需求 业务验证&反馈 Story/Case 选择 | 设计 | 就绪 实现 测试 | 发布 需求澄清 Task 需求 需求交付 战略层需求季度规划&总结 产品层需求月度规划&总结 交付层需求周度规划&总结 ## 精益研发引入 建立线上协作机制 需求线上化 活动保障实施 - 明确空间 找到需求

## MeterSphere 一站式开源持续测试平台 2023 年 9 月 持续测试的兴起与现状 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 ## 持续测试是持续交付发展的必然需求 ## 持续交付能力是企业核心竞争力 保证业务足够稳 ## 持续测试能力保障业务足够可靠 ## 催生 保证交付足够快  ## 为什么测试环节会成为持续交付中的瓶颈？ ![Image](/u 图片来源：《持续交付 2.0》 ## 造成测试阻塞的三个方面 ### 01. 测试速度 • 非探索性手工执行用例比重过多； - 用例编写和维护在协同上较为冗余； - 测试环境准备，测试报告整理等花费了大量的时间。 ### 02. 碎片化管理 - 测试工具使用碎片化，不同的测试工具之间不兼容、无联动； - 测试人员管理碎片化，不同的测试人员协同缺失。 ### 03. 价值衡量 •

## 对 Go 程序进行可靠的性能测试 Changkun Ou https://changkun.de/s/gobench/ Go 夜读系列 | talkgo.org | Talk Go | 第 83 期 March 26, 2020  主要内容 • 可靠的测试环境 • benchstat • 例子与实践 ☐ 例1: 对代码块进行性能调优 ☐ 例2: Benchmark 的正确性分析 ☐ 例3: 其他的影响因素 • 假设检验的原理 • 局限与应对措施 • 总结 ## 教科书式的性能测试方法论 在《Software Testing: Principles and Practices》一书中归纳的性能测试方法论： 1. 搜集需求 2. 编写测试用例 3. 自动化性能测试用例 4. 执行性能测试用例 5. 分析性能测试结果 6. 性能调优 7. 性能基准测试(Performance Benchmarking) 8. 向客户推荐合适的配置 ## 可靠的测试环境 ## 什么是可靠的性能基准测试环境 ## 影响测试环境的软硬件因素 • 硬件: CPU 型号、温度、IO 等 软件：操作系统版本、当前系统调度的负载等

## RUST CHINA CONF 2023 第三届中国 Rust 开发者大会 6.17-6.18 @Shanghai ## 大家好！ ## 应用 waPC (rust) 做软件测试工具 Alan poon 潘泳权  ![Ima Software testing tool ## - 模拟数据规则 - 自动化测试 Why use rust ? ## Wasm mock server • https://github.com/wasmmock/wasm_mock_server • 用 rust 打包所有测试需求 ## 软件测试工具 - 模拟数据规则 - 自动化测试 ## 大公司抓包工具的需求 • Company's own complex upstream • Common testing platform ## 软件测试工具 ## 抓包 - Wasm Mock Server ## - 模拟数据规则 - 自动化测试 wasm 工具 does not invent the wheel ## 软件测试工具 - 模拟数据规则 - 自动化测试 ## Wasm mock server 用了 Google martian ModifyResponse(res

## 七牛如何做 HTTP服务测试？ 许式伟 2015-4-18 ## HTTP服务测试 • 单元测试 - 某个独立子服务的测试 • 集成测试 - 整个集群对外业务API的测试 • Stage环境 • Product环境 ## 怎么测？ ## • 七牛早期做法 – 实现服务逻辑（Service Implementation） – 实现客户端SDK（Client Implementation） - 基于客户端SDK写测试案例（Test Case） ## • 问题 - 客户端SDK修改导致测试案例编不过 - 客户端SDK通常是使用方友好，而不是测试方友好 - 让服务端与客户端SDK耦合，容易过早陷入客户端SDK如何抽象更合理的细节，而不能专注于测试服务逻辑本身 ## 换个角度 • 直接基于协议测试呢？ - 比如，基于 http.Client 类直接写测试案例 • 问题 - 代码相对冗长 代码相对冗长 - 业务逻辑表达不直观 - 写一些辅助函数能够略为改观，不过会有逐步写测试专用SDK的倾向 ## 七 牛当前做法 • 引入 httptest DSL 文法 - 更接近基于 http.Client 写测试案例的思路 - 但努力让代码更直白体现测试用意 1 #!/usr/bin/env qiniutest 4 # 这个例子算 qiniu httptest 工具的 Hello world

表达不准确、部分素材尚未创作完成、部分参考引用未能及时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企业的商业用途，违法盗版和销售，必究其法律责任。 2021年10月19日 龙龙老师 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第3章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST测试实战 5.9 参考文献 第6章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计

黄海广 副教授 2023年03月 ## 本章目录 01 数据集划分 02 数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 ## 数据集划分 训练集（Training Set）：帮助我们训练模型，简单的说就是通过训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（Dev Set），用来做模型选择（model selec selection），即做模型的最终优化及确定的，用来辅助我们的模型的构建，即训练超参数，可选； 测试集（Test Set）：为了测试已经训练好的模型的精确度。 三者划分：训练集、验证集、测试集 机器学习：60%，20%，20%；70%，10%，20% 深度学习：98%，1%，1%（假设百万条数据） ## 交叉验证  1. 使用训练集训练出10个模型 2. 用10个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值） 3. 选取代价函数值最小的模型 4. 用步骤3中选出的模型对测试集计算得出推广误差（代价函数的值） ## 数据集制作 PyTorch的dataloader是用于读取训练数据的工具，它可以自动将数据分割成小batch，并在训练过程中进行数据预处理。

## PyTorch ## 测试 主讲人：龙良曲 ## Loss != Accuracy  ![Image](/uploads/documents/c/2/9/8/c2980c1a8645d2bdedae56dd26cd6eda/p2_2