## 深度学习 + 大数据 TensorFlow on Yarn ## 李远策 2017年4月17日   ## 内容大纲 ➢ TensorFlow使用现状及痛点 ➢ TensorFlow on Yarn设计 ➢ TensorFlow on Yarn技术细节揭秘 ➢ 深度学习平台演进及SparkFlow介绍 ## 背景 坐标：360-系统部-大数据团队 专业：Yarn、Spark、MR、HDFS … 挑战：深度学习空前火爆，各种深度学习框架层出不穷，业务部门拥抱新兴技术。平台怎么应对？ 深度学习 + 大数据  ## TensorFlow使用现状及痛点 ## 场景（1） Developer GPU Server ![Image](/uploads/documents/3/c/8/6/3c8605215c9132618

## Kubernetes & YARN: a hybrid container cloud Jian He & Bushuang Gao ## About us • Jian He • Staff Engineer @Alibaba cluster management team • Staff Engineer @Hortonworks • Hadoop Committer @Alibaba ## Agenda • What/Why co-location • Co-location @ Alibaba • Kubernetes vs YARN • Kubernetes & YARN: a hybrid architecture • Resource Isolation • Future ## What/Why co-location ## Data @Alibaba ## Co-location @Alibaba Retail search adds spark MR flink Sigma Fuxi Node Kubernetes YARN ## Co-located vs separated cluster CPU utilization Co-located: 40% ![Image](/uploads/documents/

## 第二部分 TensorFlow 初接触 # 回旋回旋回旋 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 ## 第二部分 目录 - 搭建你的 TensorFlow 开发环境 • “Hello TensorFlow” - 在交互式环境中使用 TensorFlow • 在容器中使用 TensorFlow # 搭建你的 TensorFlow 开发环境 ## TensorFlow uments/a/7/2/7/a7274b59c568408e2fa80ee6dadfd2c7/p5_2.jpg) Android iOS Embedded Devices ## TensorFlow 支持的操作系统 • Ubuntu 16.04 or later • Windows 7 or later • macOS 10.12.6 (Sierra) or later (no GPU 4b59c568408e2fa80ee6dadfd2c7/p6_3.jpg) ## 使用 pip 安装 TensorFlow tensorflow — Current release for CPU-only (recommended for beginners) tensorflow-gpu — Current release with GPU support (Ubuntu and Windows)

## 第一部分 TensorFlow 初印象 # 回旋回旋回旋 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 ## 第一部分 目录 • TensorFlow 产生的历史必然性 • TensorFlow 与 Jeff Dean 的那些事 • TensorFlow 的应用场景 • TensorFlow 的落地应用 • TensorFlow 的发展现状 ## TensorFlow and many more .... ## TensorFlow 与 Jeff Dean 的那些事 ## “TensorFlow 之父” — Jeff Dean • Head of Google Brain • Google Senior Fellow • ACM Fellow • AAAS Fellow • Creator of TensorFlow • Creator of DistBelief of BigTable  ## TensorFlow 的前世今生 ## 2012年 Google DistBelief 第一代深度学习平台 • 谷歌搜索 · 谷歌广告 • 谷歌地图 • 谷歌街景 • 谷歌翻译 • Youtube

## Swift for TensorFlow ## First-Class Machine Learning in Swift 莲叔(aaaron7) ## About me - 莲叔 / aaaron7 - SwiftGG 成员，目前没有参与翻译工作，主要负责在群里灌水； - 目前供职于 UC 短视频组； - 兴趣：Swift，函数式编程，机器学习； - 自我要求：争取不坑 ## ## Roadmap Intro - Why - Swift for TensorFlow How Magic behind • Graph Program Extraction Example • Linear Classification • Collaborative Filtering ## Why ## Why Swift As we know Swift has a few machine learning ## Swift for TensorFlow ## I ntro • First released on TFDevSummit 2018 • Open source • TensorFlow Ecosystem • First-class Machine Learning, Not just a TensorFlow API wrapper • Support CPU

番外篇 TensorFlow 社区参与指南 # 回报回 回报回 回报回 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 ## 番外篇 目录 • TensorFlow 社区介绍 • TensorFlow 生态-TFX • TensorFlow 生态-Kubeflow • 如何参与 TensorFlow 社区开源贡献 • ML GDE 是 TensorFlow 社区与开发者的桥梁 社区与开发者的桥梁 TensorFlow 社区介绍 ## TensorFlow 开源社区（20181219）

Search or jump to...

Pull requests

Issues

Marketplace

Explore

tbody> ## TensorFlow 开源社区（20190304）  https://github.com/tensorflow/tensorflow/ ## TensorFlow 发布版本

0 码力 | 46 页 | 38.88 MB | 2 年前

3

《TensorFlow 快速入门与实战》7-实战TensorFlow人脸识别

## 第七部分 实战 TensorFlow 人脸识别  扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 ## 第七部分 目录 - 人脸识别问题概述 - 典型人脸相关数据集介绍 - 人脸检测算法介绍 - github.io/openface/ deep-learning face-recognition facenet 目前，许多开源爱好者受到 OpenFace 项目启发，又实现了 Keras 和 TensorFlow (low-level API) 版本的 FaceNet。 ## Try it ## 测试与可视化分析 ## 人脸识别测试  扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程

0 码力 | 81 页 | 12.64 MB | 2 年前

3

《TensorFlow 快速入门与实战》4-实战TensorFlow房价预测

## 第四部分 实战 TensorFlow 房价预测 # ☐ ☐ ☐ ☐ 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 ## 第四部分 目录 • 房价预测模型介绍 • 使用 TensorFlow 实现房价预测模型 - 使用 TensorBoard 可视化模型数据流图 • 实战 TensorFlow 房价预测 ## 房价预测模型介绍 ## 前置知识：监督学习（Supervised [Image](/uploads/documents/b/4/3/f/b43f4cf9fe8127ff18415054a6728cc5/p16_2.jpg) # 使用 TensorFlow 实现房价预测模型 ## 使用 TensorFlow 训练模型的工作流 数据读入 数据分析 数据 规范化 创建模型(数据流图) 创建会话(运行环境) 训练模型 ## 数据分析库：Pandas Pandas 404508|2.874981| |14|1.0|-0.921956|-0.223675|-0.643896| ## 创建线性回归模型（数据流图） import tensorflow as tf alpha = 0.01 # 学习率 alpha epoch = 500 # 训练全量数据集的轮数 # 创建线性回归模型（数据流图） # 输入 X，形状[47, 3] X

0 码力 | 46 页 | 5.71 MB | 2 年前

3

《TensorFlow 快速入门与实战》3-TensorFlow基础概念解析

## 第三部分 TensorFlow 基础概念解析 # 回报回 回报回 回报回 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 ## 第三部分 目录 • TensorFlow 模块与架构介绍 • TensorFlow 数据流图介绍 • 张量（Tensor）是什么 • 变量（Variable）是什么 • 操作（Operation）是什么 • 会话（Session）是什么 会话（Session）是什么 • 优化器（Optimizer）是什么 ## TensorFlow 模块与架构介绍 ## TensorFlow 模块与 APIs High-Level TensorFlow APIs Mid-Level TensorFlow APIs Low-level TensorFlow APIs TensorFlow Kernel Estimators Keras Layers Python C++ Java Go TensorFlow Distributed Execution Engine ## TensorFlow 模块与 APIs High-Level TensorFlow APIs Mid-Level TensorFlow APIs Low-level TensorFlow APIs TensorFlow Kernel Estimators Keras

0 码力 | 50 页 | 25.17 MB | 2 年前

3

《TensorFlow 快速入门与实战》6-实战TensorFlow验证码识别

## 第六部分 实战 TensorFlow 验证码识别 # 回报回 回报回 回报回 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 ## 第六部分 目录 - 准备模型开发环境 - 生成验证码数据集 - 输入与输出数据处理 - 模型结构设计 - 模型损失函数设计 - 模型训练过程分析 - 模型部署与效果演示 ## 准备模型开发环境 ## 第三方依赖包 PIN: 217-274-263 Using TensorFlow backend. 2019-02-22 00:29:38.128433: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that the TensorFlow backend. 2019-02-22 00:29:38 00:29:38.714408: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that the TensorFlow backend. 打开浏览器访问测试 URL (http://localhost:5000/ping) ← → C ☐ ① localhost:5000/ping

0 码力 | 51 页 | 2.73 MB | 2 年前

3

共 477 条

• 1
• 2
• 3
• 4
• 5
• 6
• 48

前往

页

相关搜索词

TensorFlow on Yarn集成资源管理分布式训练集群调度KubernetesYARNHybrid architectureResource IsolationContainer RuntimeTensorFlow开发环境交互式环境容器硬件平台深度学习框架神经网络翻译多语言接口机器学习系统Swift for TensorFlow张量操作编译器转换机器学习图程序提取TensorFlow社区TFXKubeflow开源贡献GitHub人脸识别特征工程分类器局部二值模式（LBP）FaceNet监督学习房价预测数据流图TensorBoard张量变量优化器验证码识别卷积神经网络模型结构设计训练过程分析