TensorFlow on Yarn:深度学习遇上大数据程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息,仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� • 作业训练结束自动回收work、ps和Tensorboard进程� • 训练效果和性能没有损失� 基本目标:� TensorFlow on Yarn设计 • 支持GPU亲和性调度(提⾼通信效率)� • Web的⽅式查看作业的运⾏状况和作业日志�0 码力 | 32 页 | 4.06 MB | 1 年前3
动手学深度学习 v2.0的 特征不能预测任务目标,那么模型很可能无效。有一句古语很好地反映了这个现象:“输入的是垃圾,输出的 也是垃圾。”(“Garbage in, garbage out.”)此外,糟糕的预测性能甚至会加倍放大事态的严重性。在一些敏 感应用中,如预测性监管、简历筛选和用于贷款的风险模型,我们必须特别警惕垃圾数据带来的后果。一种 常见的问题来自不均衡的数据集,比如在一个有关医疗的训练数据集中,某些人群没有样本表示。想象一下, 考虑“与真实环境互动”将打开一整套新的建模问题。以下只是几个例子。 • 环境还记得我们以前做过什么吗? • 环境是否有助于我们建模?例如,用户将文本读入语音识别器。 • 环境是否想要打败模型?例如,一个对抗性的设置,如垃圾邮件过滤或玩游戏? • 环境是否重要? • 环境是否变化?例如,未来的数据是否总是与过去相似,还是随着时间的推移会发生变化?是自然变化 还是响应我们的自动化工具而发生变化? 当训练和测试数据 回归可以用于预测多少的问题。比如预测房屋被售出价格,或者棒球队可能获得的胜场数,又或者患者住院 的天数。 事实上,我们也对分类问题感兴趣:不是问“多少”,而是问“哪一个”: • 某个电子邮件是否属于垃圾邮件文件夹? • 某个用户可能注册或不注册订阅服务? • 某个图像描绘的是驴、狗、猫、还是鸡? • 某人接下来最有可能看哪部电影? 通常,机器学习实践者用分类这个词来描述两个有微妙差别的问题:10 码力 | 797 页 | 29.45 MB | 1 年前3
共 2 条
- 1













