提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源，提高 GPU 利用率 – Job 调度 （部门 quota 限制 用户选择集群提供代码地址和执行命令即可 – 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表，以及查看容器的日志和事件 Serving 服务 提供统一便捷的 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型 • 用户只需要填写模型地址即 可 GPU 监控 • 容器监控服务，自适 应 GPU 容器，可根据 容器 IP 查询记录 , 便 于用户查看服务状态 ，亦可作为 HPA 的数 据源 • 采集项 name,index,fan.speed,te mperature.gpu,pstate,po wer.draw,power

的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 以终为始，以行为知，这一项目从图计算所面临的挑战出发，解决了大规模图数据所产生 的建模能力不足、结构知识难用、巨量数据难算等技术挑战，实现了大规模复杂异质图数 据的表示学习模型、语义推荐和风险管理关键技术，构建了完整的兼具理论指导与应用检 验的大规模图数据智能分析系统与平台，满足了大数据时代从复杂异质图数据中进行知识 发现的重要需求。最终获得国内外授权发明专利 43 项， CCF -A 类论文 类论文 51 篇，获得 2 次国际竞赛冠军，参与了 2 项图计算相关标准制定。 AtlasGraph 架构及实现 图技术简介 Takeway “ 世界是复杂关系的总和”—— 一张典型的知识图谱 电话 / 同通讯录 / 绑定同账户 /... Mac 地址 /IP 地址 /wifi... 亲属 / 同事 / 一致行动 人 / 担保同地址 / 同设备登 陆 /... 已签署 /

构建目标的 cmake 项目，有病啊！ 你妨碍别人作为子模块用你的项目。没错说的就是你 OpenSim ，张心欣当时浪费好多时间伺候这个沙雕库。 还要指定一个环境变量 SIMBODY_HOME 指向他的依赖项 SimBody 的源码路径，这么 dedicated 让人咋 用？ 第 4 章：任务域与嵌套 https://link.springer.com/chapter/10.1007%2F978-1-4842-4398-5_12 for 循环，根据刚刚生成写入的索引，依次写入数据。 加速比： 4.50 倍（考虑到这里 ind 只有 0 和 1 ，应该大有优化空间） 第 8 章：分治与排序 斐波那契数列第 n 项 斐波那契数列第 n 项：并行 tbb::task_group 的封装： tbb::parallel_invoke 任务划分得够细时，转为串行，缓解调度负担（ scheduling overhead ） 作为替代。 • 流水线额外的好处是可以指定一部分 filter 为串行的 （如果他们没办法并行调用的话）而其他 filter 可以 和他同时并行运行。这可以应对一些不方便并行，或 者执行前后的数据有依赖，但是可以拆分成多个步骤 （ filter ）的复杂业务。 • 还有好处是他无需先把数据全读到一个内存数组里， 可以流式处理数据（ on-fly ），节省内存。 • 不过需要注意流水线每个步骤（

文件越来越多时，一个个调用 g++ 编译链接会变得很麻烦。 • 于是，发明了 make 这个程序，你只需写出不同文件之间的依赖关系，和生成各文件的规则。 • > make a.out • 敲下这个命令，就可以构建出 a.out 这个可执行文件了。 • 和直接用一个脚本写出完整的构建过程相比， make 指明依赖关系的好处： 1. 当更新了 hello.cpp 时只会重新编译 hello.o ，而不需要把 main o 重复写 g++ 命令（ %.o: %.cpp ）。 • 但坏处也很明显： 1. make 在 Unix 类系统上是通用的，但在 Windows 则不然。 2. 需要准确地指明每个项目之间的依赖关系，有头文件时特别头疼。 3. make 的语法非常简单，不像 shell 或 python 可以做很多判断等。 4. 不同的编译器有不同的 flag 规则，为 g++ 准备的参数可能对 MSVC Windows 则不然。 • 只需要写一份 CMakeLists.txt ，他就能够在调用时生成当前系统所支持的构建系统。 • 需要准确地指明每个项目之间的依赖关系，有头文件时特别头疼。 • CMake 可以自动检测源文件和头文件之间的依赖关系，导出到 Makefile 里。 • make 的语法非常简单，不像 shell 或 python 可以做很多判断等。 • CMake 具有相对高级的语法，内置的函数能够处理

安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战：开发 迭代进度一目了然 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 • 公共资源 / 业务资源利用率低 赋能多业务：一个平台解决了多异构项目的管理和规范 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 通过自服务的方式来加快发布速 度，无需与运维持续沟通 降低个人心智负担 • 通过平台工程，将底层的复杂性 抽象化，降低个人心智负担，提 高开发效率 可重用降低运维成本 • 一些组织可能过度依赖高级工程 师管理发布流程和基础设施，导 致资源浪费和效率低下 Zadig 平台工程模式 工程规模数据： • 1500+ 产研工程师 Vs. 2 人运维 • 50 + 个 Kubernetes

关键 字。 八、每新增一个功能模块，需要创建两个文件 • 添加一个新功能模块 Carer 时，同时添加同名的源文件和头文 件。 • 头文件中的声明和源文件中的实现一一对应。 九、一个模块依赖其他模块，则应导入他的头文件 • 如果新模块（ Carer ）中用到了其他模块（ Animal ）的类或函数，则需要 在新模块（ Carer ）的头文件和源文件中都导入其他模块（ Animal ）的头 注意不论是项目自己的头文件还是外部的系统的头文件，请全部统一采用 < 项目名 / 模块名 .h> 的格式。不要用 “模块名 .h” 这种相对路径的格式，避 免模块名和系统已有头文件名冲突。 十、依赖其他模块但不解引用，则可以只前向声明不导入头文件 • 如果模块 Carer 的头文件 Carer.h 虽然引用了其他模块中的 Animal 类，但 是他里面并没有解引用 Animal ，只有源文件 ，两个符号就会发生冲突，由于类符号 都具有 weak 属性，链接器会随机选择一个覆盖掉，非常危险！ • （关于符号的 weak 属性，以后单独开一门 C++ 课讲讲，这一课还是重点关注 CMake ） 十二、依赖另一个子项目，则需要链接他 • 让 pybmain 链接上 biology ： target_link_libraries(pybmain PUBLIC biology) • 由于 PUBLIC

__device__ 或 __global__ 函数，就会出错 。 分离 __device__ 函数的声明和定义：解决 • 开启 CMAKE_CUDA_SEPARABLE_COMPILATION 选 项（设为 ON ），即可启用分离声明和定义的支持。 • 不过我还是建议把要相互调用的 __device__ 函数放在 同一个文件，这样方便编译器自动内联优化（第四课讲 过）。 两种开启方式：全局有效 循环迭代所有 1024 个元 素，实际上内部仍然是一个串行的过程，数据是强烈 依赖的（ local_sum += arr[j] 可以体现出，下一时刻 的 local_sum 依赖于上一时刻的 local_sum ）。 • 要消除这种依赖，可以通过右边这样的逐步缩减，这 样每个 for 循环内部都是没有数据依赖，从而是可以 并行的（对 CPU 而言是 SIMD 和指令级并行，虽 然 GPU 循环迭代所有 1024 个元 素，实际上内部仍然是一个串行的过程，数据是强烈 依赖的（ local_sum += arr[j] 可以体现出，下一时刻 的 local_sum 依赖于上一时刻的 local_sum ）。 • 要消除这种依赖，可以通过右边这样的逐步缩减，这 样每个 for 循环内部都是没有数据依赖，从而是可以 并行的（对 CPU 而言是 SIMD 和指令级并行，虽 然 GPU

不少同学就觉得这样好麻烦，其他语言都是直接 “ hello” 就是字符串类 型， C++ 还得套一层壳 string(“hello”) 才能变成安全封装的类型，才能用他 的成员函数。 • 因此， C++14 引入了一项缓解“键盘压力”的新特性： • 写 “ hello”_s 就相当于写 operator“”_s(“hello”, 5) ，就相当于 string(“hello”, 5) 了。 • 为什么还需要指定长度 find(string_view sv, size_t pos) const noexcept; • 为什么我看官方文档上没写？标准库头文件里也没看到？ • 其实是有的，只不过官方为了让 头文件不依赖于 头 文件，把他们写成了模板，并利用类似 SFINAE 的机制给模板参数类型的设 了一些限制（相当于把 string_view 定义为一个 concept ），所以虽然 StringViewLike ）。 小彭老师学到了黑科技 • 这一黑科技在 zeno 中也有运用。例如 zeno/utils/Translator.h 中，为了让 Translator 类不依赖于 头文件（这是 Qt 的），但又能接受 QString 作为参数。具体来说是使用 SFINAE ，检测了 S 类型是否具有 fromStdString 和 toStdString

按需使用，如果是纯内存计算的时候，使用 blocking mutex 比较好。 生产实践 – Mixed workload Write Read Compact Runtimes 问题： CeresDB 监控写 OSS 耗时高， OSS 监控看耗时低。 生产实践 – Mixed workload runtime.spawn(task0) runtime.spawn(task1) runtime.spawn(task2)

在其他目录，因此 Windows 会找不到 dll 。 • 解决 1 ：把 dll 所在位置加到你的 PATH 环境变量里去，一劳永逸。 • 解决 2 ：把这个 dll ，以及这个 dll 所依赖的其他 dll ，全部拷贝到和 exe 文件同一目录 下。 手动拷贝 dll 好麻烦，能不能让 CMake 把 dll 自动生成在 exe 同一 目录？ • 归根到底还是因为 CMake 把定义在顶层模块里的 用户比较困 难。 不指定 REQUIRED ，找不到时不报错，只会设置 TBB_FOUND 为 FALSE 如果没有 REQUIRED 选项，找不到时将不会报错。 这样可以用于添加一些可选的依赖，如果没有也不要紧的那种，这时我们可以抛出一个警告。 找到了会把 TBB_FOUND 设为 TRUE ， TBB_DIR 设为 TBBConfig.cmake 所在路径。 找不到会把 TBB_FOUND 伪目标，用于启动主程序（可执行文件） • 创建一个 run 伪目标，其执行 main 的可执行文件。 • 这里用了生成器表达式 $ ，会自动让 run 依赖于 main 。 • 如果不放心有没有自动依赖上，手动加一个 add_dependencies(run main) 也是可以的。 • 这样就可以在命令行运行 cmake --build build --target run