A Day in the Life of a Data Scientist Conquer Machine Learning Lifecycle on Kubernetes Brian Redmond • Cloud Architect @ Microsoft (18 years) • Azure Global Black Belt Team • Live in Pittsburgh, PA Repeatable/consistent • CI/CD • This has worked well for App Dev. Now time for AI/ML • But, must ensure data scientist are not hindered by structure Why Containers, Kubernetes & Helm? • Container • Contains Scalable • Easy to explore hyper-parameters space • Easy to do distributed training But really, Data Scientists shouldn’t have to care about containers, kubernetes and all that stuff • Pachyderm can

............................................................................................. 8 4.12 消息堆积 ........................................................................................... 恢复后需要重新消费 1 小时前的数据，那举 Broker 要提供一种机制，可以挄照时间维度来回退消费迕度。 RocketMQ 支持挄照时间回溯消费，时间维度精确到毫秒，可以吐前回溯，也可以吐后回溯。 4.12 消息堆积 消息中间件的主要功能是异步解耦，迓有个重要功能是挡住前端的数据洪峰，保证后端系统的稳定性，返就要 求消息中间件具有一定的消息堆积能力，消息堆积分以下两种情冴： (1). 消息堆积在内存 通信组件 RocketMQ 通信组件使用了 Netty-4.0.9.Final，在乀上做了简单的协议封装。 9.1 网络协议 length header length header data body data 4 4 1. 大端 4 个字节整数，等亍 2、3、4 长度总和 2. 大端 4 个字节整数，等亍 3 的长度 3. 使用 json 序列化数据 4. 应用自定丿二迕制序列化数据

/^(?:abc|def)/。 又比如， /this|that/修改成 /th(?:is|at)/。 这样做，可以减少匹配过程中可消除的重复。 6.4.5. 减少分支的数量，缩小它们的范围 /red|read/ 可以修改成 /rea?d/。 此时分支和量词产生的回溯的成本是不一样的。但这样优化后，可读性会降低的。 6.5. 本章小结 本章涉及的内容并不多。 一般情况下，针对某问题能写出一个满足需求的正则，基本上就可以了。 var highs = getElementsByClassName('high'); highs.forEach(function (item) { item.style.color = 'red'; }); 7.3.2. 使用字符串保存数据 一般情况下，我们都愿意使用数组来保存数据。但我看到有的框架中，使用的却是字符串。 使用时，仍需要把字符串切分成数组。虽然不一 ound; height:300px; padding:0 200px; } section *{ min-height:30px; } #err { color:red; JavaScript 正则表达式迷你书 7. 第七章 正则表达式编程 | 第 75 页 } #result{ line-height:30px; } .info { background:#00c5ff;

/^(?:abc|def)/。 又比如， /this|that/修改成 /th(?:is|at)/。 这样做，可以减少匹配过程中可消除的重复。 6.4.5. 减少分支的数量，缩小它们的范围 /red|read/ 可以修改成 /rea?d/。 此时分支和量词产生的回溯的成本是不一样的。但这样优化后，可读性会降低的。 6.5. 本章小结 本章涉及的内容并不多。 一般情况下，针对某问题能写出一个满足需求的正则，基本上就可以了。 var highs = getElementsByClassName('high'); highs.forEach(function (item) { item.style.color = 'red'; }); 7.3.2. 使用字符串保存数据 一般情况下，我们都愿意使用数组来保存数据。但我看到有的框架中，使用的却是字符串。 使用时，仍需要把字符串切分成数组。虽然不一 ound; height:300px; padding:0 200px; } section *{ min-height:30px; } #err { color:red; JavaScript 正则表达式迷你书 7. 第七章 正则表达式编程 | 第 75 页 } #result{ line-height:30px; } .info { background:#00c5ff;

发者被束缚，有悖自由精神的现象随之普遍发生。GNU 项目的创立，标志了自由 软件运动的开始，随后的 1985年10月，Stallman 又创立了自由软件基金会(Free Software Foundation, FSF)。 Stallman 首先提出了开源软件的定义和特征，以及 Copyleft 的概念。他是很多 Copyleft 许可证的主要作者，包括使用最广泛的自由软件许可证—— GNU 通用公共

OBS Layout 12.219 Hive 删除表(Rename操作) ● FileSystem delete on table directory path ● Moves table data to trash 举例: fs.delete(“/catelog_sales”) 均衡器Ozone Balancer(HDDS-4656) 时机 ● 新的节点加⼊Ozone集群 Container Group2 客户端 写⼊⽂件 256MB 256MB 256MB 256MB 256MB 256MB 256MB 256MB 256MB 0 data1 data2 data3 parity1 parity2 数据写⼊ • EC Container Group：给定Container的⼀组满⾜EC策略的副本实例 • 物理块：每个DN磁盘上的数据块，默认是256MB Container Group 客户端 读取⽂件 Chunk1 Chunk2 Chunk3 Chunk4 Chunk5 Chunk6 Chunk7 Chunk8 … data1 data2 data3 parity1 parity2 B-2-d B-2-d B-2-d B-2-p B-2-p Chunk2 1MB Chunk3 1MB Parity1 1MB Parity2

Prompts（指令） 描述 Can you load and preview the data? 加载，预览一下数据 Can you list the top 10 key points? 最重要的十个要点 What are the trends shown in this data? 找趋势 Can you describe the data? 描述数据 Show me the top trends in a using this data? 创建一个热力图 Can you segment this data and create a table? 切分数据 Can you create a graph using this data? 制作一个图 Can you create a world cloud? 做一个词云 Can you create a chart using this data? 画一个图表 graphs more beautiful? 把图美化一下 Can you write a one sentence recap of this data? 快速回顾一下 Create a visual chart, based on this data. 做一个视觉图表 What’s the main takeaway from this dataset? 找出最主要的信息 Can you explain

• Case study • Water utility management • Campus surveillance system Edge Scenario/Characters (vs Data Center) • Similar requirement • Edge/Cloud nodes management • Application management • Inter-service Cloud/Edge metadata bi-direction sync • Component • Edge Metadata Store: Etcd • Sync Service: • Mirror data between Etcd@Cloud and Etcd@Edge • Base on Etcd watch/get • Sync Algorithm • Eventually consistent Configuration (Pod Spec) • Goal • Offline autonomous – network connectivity • Only sync change data – network performance • Lightweight Kubelet – resource constrain edge node • Components • Edge Controller:

manager 进程 mysql-pod-1 app-container mysql init-container mha-node data-dumper mysql-pod-2 init-container data-dumper data ConfigMap mysql-conf mysql-operator-pod app-container mysql-operator

lave的话， 把masterOffset 值赋为 minOffset） 向 socket 写入同步数据： 传输数据协议 Data> 4.2 ReadSocketService 读取 slave 通过 HAClient 向 master 返回同步 commitLog 的物理偏移量 phyOffset 值 NettyDecoder， NettyEncoder 对 RemotingCommand 进行协议的编码与解码 协议格式

data> data> 1 2 3 4 协议分4部分，含义分别如下 1、大端4个字节整数，等于2、3、4长度总和