第29 期| 2023 年9 月- 技术雷达。共享组件库和文档的主要消费者是 产品开发团队。在使用产品为中心的思维方式时,设计系统所有者应该与消费者(开发团队)合作,建立共情。 我们发现,许多组件库之所以受到批评,是因为所有者团队无法快速响应消费者的需求,并且无法接受来自外 部的贡献。产品为中心的思维方式还要求组织思考是否应该允许和怎样向设计系统做出贡献,以及如何管理这 些贡献——在这个话题上,我们推荐采用设计系统决策记录。对我们来说,维护一个良好的设计系统或组件库 攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式,黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域,例如错误的配置,脆弱的容器, 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间,但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 试验 ReAct 提示工程是一种用于提示大语言模型的方法,相较于思维链(CoT)等竞争方法,ReAct 旨在提高大语言 模型的响应准确性。这一方法在一份 2022 年的论文中首次提出,其原理是将推理和行动结合起来(因此称为 ReAct)。这种方法有助于使大语言模型的响应更具解释性,相对于思维链减少了虚构性内容,从而提高了提示 者获得他们想要的内容的机会。最初,LangChain 是为支持这种提示方式而开发的。基于0 码力 | 43 页 | 2.76 MB | 1 年前3
石墨文档Go在K8S上微服务的实践-彭友顺Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题:每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题:gRPC未设置连接错误,阻塞模式报错不正确 Redis、MySQL连接数配置未设置?超时未设置? 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • • 调试gRPC • 调试信息 • 错误定位 // FailOnNonTempDialError only affects the initial dial, and does not do // anything useful unless you are also using WithBlock(). 默认补齐配置,给出最佳实践 微服务的开发阶段 IDE的体验,右键插入资源引用,悬停查看资源信息 IDE的体验,右键插入资源引用,悬停查看资源信息 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 配置版本,发布,回滚,可以更加方便 微服务的开发阶段 统一采用gRPC协议和protobuf编解码 CI check 阶段 • 主要做 pb 的 format、lint、breaking 检查。 CI build0 码力 | 41 页 | 3.20 MB | 1 年前3
Kubernetes开源书 - 周立2) 14 K8s组件 本⽂概述了Kubernetes集群中所需的各种组件。 Master组件 Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策(例如调度),以及检测和响应集群事件(例如:当 replication controller所设置的 replicas 不够时,启动⼀个新的Pod)。 Master可在集群中的任意节点上运⾏。然⽽,简单起⻅,设置脚本通常 上来讲,每个Controller都是⼀ 个单独的进程,但为了降低复杂性,它们都被编译成独⽴的⼆进制⽂件并运⾏在⼀个进程中。 这些控制器包括: Node Controller:当节点挂掉时,负责响应。 Replication Controller:负责维护系统中每个replication controller对象具有正确数量的Pod。 Endpoints Controller:填充Endp 在运⾏Kubernetes时 与cloud-controller-manager相关联。 以下控制器存在云提供商依赖: Node Controller:⽤于检查云提供商,从⽽确定Node在停⽌响应后从云中删除 Route Controller:⽤于在底层云基础设施中设置路由 Service Controller:⽤于创建、更新以及删除云提供商负载均衡器 Volume Controlle0 码力 | 135 页 | 21.02 MB | 1 年前3
Kubernetes 异常配置检测框架API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长,手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 集群节点(DaemonSet /Standalong) 问题检测 • 硬件(CPU、内存、磁盘) • 操作系统( NTP、内核死锁、文件系统异常) • Container Runtime(无响应) 问题上报 • API server • Prometheus node-problem-detector Sonobuoy 运行模式 • 集群节点(Collector Pod + DaemonSet/One bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测0 码力 | 31 页 | 9.57 MB | 1 年前3
DaoCloud Enterprise 5.0
产品介绍支持集群工作负载日志,系统日志和 Kubernetes 事件的采集和查询 ➢ 支持单条日志的上下文查询 ➢ 以集群为维度生成服务拓扑,查看服务间调用关系 ➢ 侵入式链路采集,支持查询服务的实时 RPS、错误率、时延等关键指标 ➢ 提供开源的聚合链路查询 ➢ 提供开箱即用的告警规则 ➢ 支持自定义指标、日志等告警 ➢ 支持灵活的配置告警级别、阈值、通知对象等 ➢ 提供邮箱、企业微信、钉钉、Webhook 间的网关实例进行管 理,支持网关实例的全生命周期管理。 ➢ API 策略管理:通过图形化界面进行 API 的增删改查,配置 API 策略,例如负载均 衡、路径改写、超时配置、重试机制、请求头/响应头重写、WebSocket、本地限流、 健康检查等,同时保障原生 API 的能力不受影响。 ➢ 插件管理:提供丰富的插件功能,支持安全、流量管控、缓存等插件,支持一键开启/ 停用插件。 ➢0 码力 | 18 页 | 1.32 MB | 1 年前3
k8s操作手册 2.3--service-cidr=10.7.0.0/16 \ # service网段,即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --image-repository="cof- lee.com:5443/k8s" #指定为集群内部的docker镜像源 如果指定使用集群内部的docker镜像仓库,要提前在docker的daemon --service-cidr=10.7.0.0/16 \ # service网段,即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --image-repository="cof- lee.com:5443/k8s" #指定为集群内部的docker镜像源 如果指定使用集群内部的docker镜像仓库,要提前在containerd的配置文件里配 --control-plane- endpoint=10.99.1.54:6443 \ #指定控制面板vip与端口号 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 --upload-certs #将控制平面证书上传到kubeadm-certs Secret;并在后续添加节点时自动分发证 书文件 ★使用配置文件方式去初始化集群(和上面命令行方式二选一)0 码力 | 126 页 | 4.33 MB | 1 年前3
Kubernetes全栈容器技术剖析裸金属容器应用吞吐量 虚机容器应用吞吐量 3 9 17 6 20 34 0 5 10 15 20 25 30 35 40 100 300 500 时延对比 裸金属容器平均响应时延 虚机容器平均响应时延 96.0% 95.5% 93.8% 55.7% 55.6% 53.8% 0.0% 20.0% 40.0% 60.0% 80.0% 100.0% 120.0% 100 8 7.6 7.8 8 8.2 8.4 8.6 8.8 9 100 300 500 内存占用率对比 裸金属容器进程内存 虚机容器进程内存 对比结论: 在同等压力下裸金属容器的响应时延减少1 倍,裸金属容器应用的吞吐量相对于虚机 容器吞吐量增长1倍,但是cpu资源的占用 却只多出60%左右,同时裸金属容器的进 程占用的内存减少10%。 11 国内首发Windows0 码力 | 26 页 | 3.29 MB | 1 年前3
石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版适应性不⾜… 系统建设 • 建设周期⻓ • 存在重复建设 • 投资回报低 • 系统维护成本⾼… 系统应⽤ • 数据分散,到处找 • 应⽤独⽴,难协同 • ⼀体化应⽤,不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 供了⼤量业界经过⼤量验证的规则规范,增加了⼤量 ⾃动化⼯具协助开发⼈员,测试⼈员与运维⼈员完成 相应⼯作,极⼤提升了⼯作效率。 需求有效管理 增加交付频率 降低交付⻛险 识别过程资源浪费 加速需求响应时间 团队效率的整体提升 加快开发迭代速度 DEVOPS平台成果 价值 ⼯具 流程 规范指南 认证体系 成熟度 ⾓⾊职责 14x8x5 14个⾓⾊ 8个职责 5个权限组 16x15x180 码力 | 33 页 | 7.49 MB | 1 年前3
云计算白皮书式转变。代表的解决方案是云原生应用保护平台(CNAPP),它的安 全防护覆盖云原生应用的全生命周期,实现了所有相关安全工具的 云计算白皮书(2023 年) 22 一体化管控和安全风险的一体化监测响应,包括奇安信、小佑、默 安等厂商均陆续推出了 CNAPP 相关产品。三是云上安全需要精细化 的云原生安全治理。搭建了云上安全防护体系但安全问题仍然层出不 穷是不少用云企业面临的难题。一方面是因为企业的战略理念和组织 理,从体制机制、技术要求、管理规范等多个方面统筹建设治理机 制。三是实现高效低碳运行,推动云运营绿色发展。在国家提出碳 达峰、碳中和战略后,云计算绿色发展理念得到持续关注。第一梯 队行业充分响应国家相关低碳环保政策与规范,应用低碳创新技术, 优化算力算法,推动云平台的高效低碳运行和绿色发展。 第二梯队行业上云用云处于成长期,企业上云热度持续攀升, 如工业、交通、医疗等行业。过去几年,我国工业制造、汽车、轨0 码力 | 47 页 | 1.22 MB | 1 年前3
Operator Pattern 用 Go 扩展 Kubernetes 的最佳实践只应该是 Update 或 Delete 两种 Action,但 因本地无 cache,所以 Update 实际变成了 Create,执行时会报“StatusReasonAlreadyExists”错误,与预期不符; Delete 实际不会生成,意味着操作丢失,与预期不符。 当 u-lag 时,API Server 与 cache 中都有该对象,但版本不同。此时 Plan 只应该是 Update 或 只应该是 Create 一种 Action,但因 cache 中有该对象,所以 Create 变成了 Update,执行时会报“StatusReasonNotFound”错误;当新 Spec 中无该对象时, Plan 会错误生成 Delete Action,执行时同样会报对象不存在错。 根据上述分析,stale cache 确实会有问题,如何补救?先看一个 stale 对象。 如下图所示,某个版0 码力 | 21 页 | 3.06 MB | 9 月前3
共 13 条
- 1
- 2













