试看/购买《TensorFlow 快速入门与实战》视频课程
## 番外篇 目录
• TensorFlow 社区介绍
• TensorFlow 生态-TFX
• TensorFlow 生态-
Kubeflow
• 如何参与 TensorFlow 社区开源贡献
• ML GDE 是 TensorFlow 社区与开发者的桥梁
TensorFlow 社区介绍
## TensorFlow 开源社区（20181219） machine learning models, designed for production environments.
TensorFlow 生态-
Kubeflow
## 一 个典型 AI 工作流程
Business Requirement
Production Design
Data Processing
Model Training
Model 数据-模型-服务 流水线
##
Kubeflow
##
Kubeflow 开源项目
Kubeflow
| kubeflow / kubeflow |
0 码力 |
46 页 |
38.88 MB
| 2 年前 3
On JDOS
梁永清 liangyongqing1@jd.com
## 提供的服务
## Experiment
## Training
1. 用于实验的 GPU 容器
2. 基于 Kubeflow 的机器学习训练服务
3. 模型管理和模型 Serving 服务
## Serving
均基于容器，不对业务方直接提供 GPU 物理机
## GPU 实验
JDOS 常规的容器服务，
Caffe public/caffe:cpu-v1
Caffe public/caffe:gpu-v1
Caffe public/caffe:gpu-v2
## 训练服务
## • 提供基于 kubeflow 的分布式训练方案
- 界面化操作，用户提供代码地址和执行命令即可
- 系统内建支持安装 pip 依赖
- 自制存储插件支持分布式文件系统存储用户数据
- 支持官方镜像，不需要 JDOS (jdos-testitest-wdl)
训练素材目录 $ ^{*} $
wdl
GIT地址 $ ^{*} $
git@
ression.git
执行命令 $ ^{*} $
python ./kubeflow/example/distribute/run.py --issync=1
## • 创建训练
- 用户选择集群提供代码地址和执行命令即可
- 选择所用框架（镜像）：支持官方，亦可自制
0 码力 |
11 页 |
13.40 MB
| 1 年前 3
/0/3/d203e99d6cb066cd89cc35531775c47e/p34_2.jpg)
### 5. Pipeline
TFX Config
Airflow Runtime
Kubeflow Runtime
Example
Validator
StatisticsGen
SchemaGen
Evaluator
TensorFlow Serving
Training Hub
+ Upload
Home
Q Search
Create a notebook instance via the GCP Console
Get started with Kubeflow Pipelines
Spin up a pre-installed Deep Learning VM
Feedback
:
Train ML Models using SQL production-ready AI services & solutions from Google
My assets
Scope ⑨
Public
Private
Category ⑦
Kubeflow pipeline
☐ Notebook
Service
Tensorflow module
VM image
☆
## Useful links
• Difference between controller and operator - https://github.com/kubeflow/training-operator/issues/300
- Explanation of Kubernetes validation against objects/schemas -
0 码力 |
36 页 |
2.19 MB
| 1 年前 3
A Day in the Life of a Data Scientist Conquer Machine Learning Lifecycle on Kubernetesand some of their shortcomings • Why DevOps? • Why Containers, Kubernetes, and Helm? • Intro to Kubeflow, Helm, Argo ## • Demos • Image classification with Inception v3 and transfer learning • Automate Automate repeatable ML experiments with containers • Deploy ML components to Kubernetes with Kubeflow • Scale and test ML experiments with Helm • Manage training jobs and pipelines with Argo • Serve trained down when idle • Parallel training instead of sequential: huge time saver for large trainings ## Kubeflow • Machine Learning Toolkit for Kubernetes • To make ML workflows on Kubernetes simple, portable0 码力 | 21 页 | 68.69 MB | 1 年前3
GPU Resource Management On JDOSOn JDOS 梁永清 liangyongqing1@jd.com ## 提供的服务 ## Experiment ## Training 1. 用于实验的 GPU 容器 2. 基于 Kubeflow 的机器学习训练服务 3. 模型管理和模型 Serving 服务 ## Serving 均基于容器，不对业务方直接提供 GPU 物理机 ## GPU 实验 JDOS 常规的容器服务， Caffe public/caffe:cpu-v1 Caffe public/caffe:gpu-v1 Caffe public/caffe:gpu-v2 ## 训练服务 ## • 提供基于 kubeflow 的分布式训练方案 - 界面化操作，用户提供代码地址和执行命令即可 - 系统内建支持安装 pip 依赖 - 自制存储插件支持分布式文件系统存储用户数据 - 支持官方镜像，不需要 JDOS (jdos-testitest-wdl) 训练素材目录 $ ^{*} $ wdl GIT地址 $ ^{*} $ git@ ression.git 执行命令 $ ^{*} $ python ./kubeflow/example/distribute/run.py --issync=1 ## • 创建训练 - 用户选择集群提供代码地址和执行命令即可 - 选择所用框架（镜像）：支持官方，亦可自制0 码力 | 11 页 | 13.40 MB | 1 年前3