第29 期| 2023 年9 月- 技术雷达JavaScript 生态系统十分混乱的时期,我们也从未采取过这样的做法)。作 为一家开创 CI、CD 等突破性工程实践历史的软件咨询公司,我们对于使用 AI 辅助软件开发特别感兴趣。因此, 本期技术雷达讨论了许多代码辅助工具,如 GitHub Copilot、Tabnine 和 Codeium。我们兴奋于 open-source LLMs for coding 在工具领域可能带来的变革,并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 早在 2003 年就撰写了有关此主题的文章,但问题并没有消失。在 这期雷达中,我们讨论了许多现代工具和技术,它们采用更加细致入微的方法来衡量软件的创造过程,但这仍 然不够。幸运的是,业界已经不再使用代码行数作为产出衡量标准。然而,衡量框架 SPACE 中 A(Activity,活 动)的替代方法,例如拉取请求的数量或已解决的问题的数量,仍然不足以成为衡量生产力的良好指标。相反, 行业已经开始关 ChatGPT,Google Bard,Meta 的 LLaMA 以及亚马逊的 Bedrock 等)在我们的讨论中占据重要地位。更广泛来说,大语言模型可以应用于从 内容生成(文本、图片和视频)、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层,这些大模型 成为了强大的工具库,被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面,包括自托管式大语言 模型,相较云托管的大语言模型,0 码力 | 43 页 | 2.76 MB | 1 年前3
Kubernetes开源书 - 周立例如MySQL),也不提供分布式存储系 统(例如Ceph)作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署源代码,并且不构建应⽤。持续集成(CI)⼯作流是⼀个不同⽤户/项⽬有不同需求/偏好的领域,因此它⽀ 持在Kubernetes上运⾏CI⼯作流,⽽不强制⼯作流如何⼯作。 允许⽤户选择其⽇志记录、监视和警报系统。(它提供了⼀些集成。) --cloud-provider 标志设为 external 来禁⽤控制器循环。 cloud-controller-manager允许云供应商代码和Kubernetes内核独⽴发展。在以前的版本中,核⼼的Kubernetes代码依 赖于特定云提供商的功能代码。在未来的版本中,云供应商的特定代码应由云供应商⾃⼰维护,并在运⾏Kubernetes时 与cloud-controller-manager相关联。 以下控制器存在云提供商依赖: r-ui)仍在使⽤v1.2规范。OpenAPI规范在Kubernetes 1.5中,进⼊Beta 阶段。 Kubernetes为主要⽤于集群内通信的API实现了另⼀种基于Protobuf的序列化格式,在 design proposal 有记录,每个 schema的IDL⽂件都存放在定义该API对象的Go语⾔包中。 API版本 为了更容易地消除字段或重组资源表示,Kubernetes⽀持多0 码力 | 135 页 | 21.02 MB | 1 年前3
Kubernetes全栈容器技术剖析集群部署、运维监控增强 ,安全加固 CNCF & Kubenetes 社区 全球TOP3、国内TOP1贡献: 7个maintainer,commits 1200+ OCI 初创成员,是容器镜像格式的规范和实现的主导者 主导核心设计:动态资源调整,各种安全加固措施,增强各种资源 限制,增加ARM64支持,运维增强,容器重启策略 OCI & Docker 社区 CNCF/OCI基金会的初创会员、白金会员, 提供界面,分配镜像的访问权限 对接DevCloud、GitHub、GitLab,一键式完成从代码下载到 镜像构建的完整流程,并支持对接CCE完成镜像部署 高性能 支持大规模并发构建业务 自动化 代码更新时自动触发镜像构建 容器镜像服务SWR :支持镜像自动化构建,实现源码到镜像的自动化流程 第三方代码库对接 多租户、多用户权限隔离 17 案例:高性能容器服务,助力图灵生物Pipeline灵活编排和复用,自定义基因测序SaaS 和主要贡献者。 国内唯一CNCF/OCI基金会的初创会员、白金会员,国内唯一K8S社区技术指导委员成员,12个 Maintainer席位 Kubernetes社区贡献国内第一,全球第四,参与容器格式及运行规范的定义与实现、积极贡献联邦集群、亲和反亲和等重要特性。 华为CCE在裸金属容器集群、windows容器、集群高可用、自动化运维、容器网络/存储、异构计算(ARM、GPU、FPGA)能力方面具有差0 码力 | 26 页 | 3.29 MB | 1 年前3
运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智只包含软件环境的配置 • 硬件配置需要运行时去指定 OCI (Open Container Initiative) • From Linux Foundation • 旨在为 Container 格式和运行时创建开放行业标准。 • 该组织于2015年6月22日由Docker,CoreOS等 Container 行 业的领导人推出。 • OCI目前包含两个规范: • 运行时规范(runtime-spec 资源管理 N/A 有 个人研发功能 模型训练 有 有 模型上线服务 即将上线 有 原生态 TensorBoard 支持 即将上线 有 训练项目管理 有 有 代码编辑 有 有 GPU 支持 即将上线 有 远程命令行支持 有 有 TaaS 运行原理 TaaS 主要功能 – 数据存储 TaaS 主要功能 – 项目管理 TaaS0 码力 | 77 页 | 14.48 MB | 1 年前3
高性能 Kubernetes 元数据存储 KubeBrain 的设计思路和落地效果-许辰• 支持 CAS • 支持快照读 • 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式? 1. 否 2. 底层存储引擎全局有序,有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch(1) 行锁,增大了写的并发 写优化 - 2 单点写 -> 多点写 multi raft range 分片,增大写并发 Brain 层无磁盘 io,只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页,降低延迟 内存高效复用,避免0 码力 | 60 页 | 8.02 MB | 1 年前3
第1930期:Kubernetes基础介绍Kubectl命令行的公共启动参数: 40 www.h3c.com Confidential 秘密 40 40 Kubernetes常见命令介绍 Kubectl输出格式,kubectl可以用多种格式对结果进行显示,输出格式通过-o参数指定: Kubectl [command] [TYPE] [NAME] –o=0 码力 | 49 页 | 4.11 MB | 1 年前3
⾸云容器产品Kubernetes操作指南下⼀步进⼊容器配置⻚⾯ 应⽤管理 1. 简介 2. 前提条件 3. 操作说明 22 c) 设置容器配置 i. 基本配置 镜像名称:填写所⽤镜像名称,本例中为hello-world。格式为domain/imagename。 镜像版本:填写所需镜像版本,如不指定,默认为latest。 最⼩申请:为该应⽤所需最⼩资源额度,包括 CPU 和内存两种资源。该资源由容器独占,以 防资源 设置应⽤名称、集群 、命名空间、副本数量(即应⽤包含的 Pod 数量)、标签和注解。然后单击 下⼀步进⼊容器配置⻚⾯ c) 设置容器配置 i. 基本配置 镜像名称:填写所⽤镜像名称,本例中为mysql。格式为domain/imagename。 镜像版本:填写所需镜像版本,本例中为5.7。如不指定,默认为latest。 最⼩申请:为该应⽤所需最⼩资源额度,包括 CPU 和内存两种资源。该资源由容器独占,以0 码力 | 94 页 | 9.98 MB | 1 年前3
石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版项⺫管理 快速迭代开发,更短的发布周期, 并统⼀流程,规范化管理 持续交付 提⾼部署的效率,降低部署的⻛ 险,提⾼部署的质量,消除部⻔ 壁垒,交付过程标准化, 透明化 持续构建与测试 保障代码质量,提升开发效率 知识共享 知识共享与积累,不断完善,持 续学习改进 认证与改进 持续优化, 形成闭环 运维监控 运⾏状态可视化,数据化,降低 部署⻛险,快速反馈 运营统计 全链路指标统计,为持续改进提 初始化 配额管理 ⼯具链⽀撑体系 事务 跟踪 ⼯具 知识 库 代码托 管 制品仓 库 镜像仓 库 测试管 理平台 流⽔线编 排⼯具 代码质 量管控 镜像安 全扫描 运营统 计⼯具 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 XXXX 指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 ü 开发任务关联需求 ü 事务管理⼯具对任务进⾏ 细粒度拆解 ü 设置合理的任务⼤⼩, 跟 踪开发状态 ü IDE 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态0 码力 | 33 页 | 7.49 MB | 1 年前3
石墨文档Go在K8S上微服务的实践-彭友顺CI build 阶段 • 会基于 pb 的注释自动产生文档,并推送至内部的微服务管理系统接口平台中 • 会生成 Go/PHP/Node/Java 桩代码和错误码,推送到指定的仓库 开发阶段 • go get 客户端、服务端的gRPC和错误码的代码 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 错误码管理 • 调试gRPC • 调试信息 • 错误定位 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码,触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark • 全链路压测 • 集成测试 • 以前gitlab ci,docker in docker les/helloworld --go-test_out=pkg=main,paths=source_relative:. helloworld.proto • 业务代码中不要有框架、组件代码,减少单侧用例 • 业务代码做好接口级别单测,简单,快速 • protobuf工具的插件,拿到gRPC服务的描述信息,生成单元测试用例 • 业务人员只需要填写红框内容的断言内容,就可以完成单元测试0 码力 | 41 页 | 3.20 MB | 1 年前3
腾讯云 Kubernetes 高性能网络技术揭秘——使用 eBPF 增强 IPVS 优化 K8s 网络性能-范建明在netfilter post-routing阶段做SNAT • 每个service 添加一条或多条rules。使用数组管理rules。 • 仅支持随机的调度算法 • kube-proxy代码实现比较简单 • iptables 在linux 已经广泛部署 优势 iptables mode 不足之处 • 控制平面的时间复杂度是O(N^2), 当service达到上千时,修改rule耗时超过半小时。 独占cpu,不适合分布式的lb • 为什么纯粹的eBPF方法不行 • 不够成熟 eBPF 简介 • 编写eBPF程序 • 编译成eBPF中间代码 • 注入内核 • 挂载到network traffic control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack? • 进报文 做了hack,直接访问ip_finish_output IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码,在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中,方便升级和维护。 • eBPF loader 创建eBPF map时,将map的id 传给IPVS内核模块 • 在ip_vs_new_conn 时,插入eBPF0 码力 | 27 页 | 1.19 MB | 9 月前3
共 33 条
- 1
- 2
- 3
- 4













