C++ 进阶：模板元编程 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 高性能并行编程与优化 - 课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++ ，后半段主要介绍并行编程与优化。 1 cmake 与 git 入门 2.现代 C++ 入门：常用 STL 容器， RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 以上（ GPU 专题） 为什么需要模板函数（ template ） • 避免重复写代码。 • 比如，利用重载实现“将一个数乘以 2” 这个 功能，需要： 为什么面向对象在 HPC 不如函数式和元编程香了？ 这个例子要是按传统的面向对象思想，可能是这样： 令 Int, Float, Double 继承 Numeric 接口类并实现 ，其中 multiply(int) 作为虚函数。然后定义： Numeric

费良宏 Technical Evangelist | Amazon Web Services lianghon@amazon.com 用 Python 开发 Serverless 应用 @ 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved $whoami • 软件工程师 (1991 – 今) • Debug/Profile/Monitor 工具 识别对客户的影响 支持无服务器 映射所有服务和临时 的资源 遵循端到端交互 导入 boto3 (AWS Python SDK)、aws_xray_sdk 用修饰符为调用创建子分段，并记录请求和响应中的信息 手动创建子分段，并记录请求和响应中的信息 使用IDE编写和调试Lambda应用 AWS Cloud9 Python、 Node.js table Open Source AWS SAM 命令行接口 (AWS SAM CLI) 用于本地开发、调试、测试、部署和监视无服务器应用 程序的 CLI 工具 支持 "代理式" API 网关和 Lambda 服务 API 测试 本地计算机上可用的响应对象和函数日志 使用开源 docker-lambda 映像来模拟 Lambda 的执行环 境,如超时、内存限制、运行时 可以跟踪CloudWatch

KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 K8s 各组件 apiserver 元信息存储 etcd etcd 存在的问题 自研元信息存储 调优 etcd 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 Watch • Kubernetes list-watch 的底层依赖 K8s 元信息存储的需求 (2) K8s 元信息存储的需求 (3) 所以 etcd 为目前 K8s 唯一支持的存储 KubeBrain 架构 Kine KubeBrain KubeBrain 架构 • 主从架构 • 主负责写和事件分发 • 从负责读 • 底层对接分布式强一致性存储 • CAS 事务写

© XXX Page 1 of 30 Curve元数据节点高可用© XXX Page 2 of 30 1. 需求 2. 技术选型 3. etcd clientv3的concurrency介绍 3.1 etcd clientV3的concurrency模块构成 3.2 Campaign的流程 3.2.1 代码流程说明 3.2.2 举例说明Campagin流程 3.3 Observe的流程 Etcd集群与MDS1(当前leader)出现网络分区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds, 但同时只有一个mds节点提供服务，称该提供服务 提供配置共享和服务发现的系统比较多，其中最为大家熟知的就是zookeeper和etcd, 考虑当前系统中mds有两个外部依赖模块，一是mysql， 用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制: TTL和CAS。TTL(time to live)指的是给一个key设

深度学习 －用 PYTHON 开发你的智能应用 / ， 费良宏 lianghon@amazon.com AWS Technical Evangelist 21 April 2016 关于我 工作：Amazon Web Services / Evangelist 7 年 Windows/ Internet/ Cloud @ 3 年 iOS/ Mobile App @ 1.5 年 Cloud 基于过去的事实和数据，用来发现趋势和模式 机器学习模型提供了对于结果的洞察力，机器学习帮助 揭示未来的一个结果的概 率而不仅仅是过去发生的事情 历史的数据和统计建模被用于概率进行预测 传统的数据分析旨在回答关于过去的事实，机器学习的目 的是回答关于未来事件的可能性的问题! 机器学习的应用场景 个性化 – 提供个性化的电子商务体验 文档聚类 – 按照文档上下文自动分类 欺诈检测 – 发现异常的规律行为，识别和标记欺诈交易 . 机器学习－学习方式 监督学习- 人工干预和验证的要求,算法：Logistic Regression，Back Propagation Neural Network 等。例如：照片分类和标签 无监督学习- 无人工干预的要求, 算法: Apriori算法以及k-Means。例如：对于文档的基于上下 文的自动分类 半监督学习 - 介于监督学习和无监督学习之间，算法: Graph Inference

Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 5.1 分片方式一：inode和dentry都按照parentid分片 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 moosefs（mfs） 有元数据服务器 全内存 fsnode → hashtable(inode id) fsedge → hashtable (parent inode + name) 全内存 chunk → hashtable(chunk id) log + dump record 差 否 chunk 链式多副本 overwirte有数据不一致风险 chubaofs（cfs） 有元数据服务器 inode

《Go Web 编程》 《Go Web 编程》 因为自己对Web开发比较感兴趣，所以最近抽空在写一本开源的书籍《Go Web编程》《Build Web Application with Golang》。写这本书不表示我能力很强，而是我愿意分享，和大家一起分享Go写Web应用的一些东西。 对于从PHP/Python/Ruby转过来的同学了解Go怎么写Web应用开发的 对于从C/C++转过来的同学了解Web到底是怎么运行起来的 src/11.3/目录下。在正文中按 需要添加代码。 格式规范 格式规范 正文 正文 请参看已有章节的规范，要注意的是，每个章节在底部都需要有一个links节，包含“目录”，“上一节”和“下一 节”的链接。 代码 代码 代码要go fmt后提交。注释文件注明其所属章节。 如何编译 如何编译 build.go依赖markdown的一个解析包，所以第一步先 go get 《Go Web编程》专用交流群 大家有问题还可以上德问上一起交流学习：http://www.dewen.org/topic/165 致谢 致谢 首先要感谢Golang-China的QQ群102319854，里面的每一个人都很热心，同时要特别感谢几个人 四月份平民 (review代码) Hong Ruiqi (review代码) BianJiang (编写go开发工具Vim和Emacs的设置)

© XXX Page 1 of 15 curve文件系统元数据proto（代码接口定义，已实现）© XXX Page 2 of 15 1、代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。 2、文件系统proto定义 2.1 mds.proto