。 12. 大语言模型半结构化自然语言输入 试验 在使用大语言模型的各种应用中，我们在半结构化自然语言输入方面取得了成功。结构化输入，如 JSON 文档， 清晰而精确，为模型提供了所寻求响应类型的指示。以这种方式限制响应有助于缩小问题空间，并且可以产生 更准确的响应，特别是当结构符合领域特定语言（DSL）的语法或模式情况下。我们还发现，将结构化输入与 自然语言注释或标记结合使用，比仅使 Markdown 的标记语言来生成图表。自从上次在技术雷达中介绍以来，Mermaid 添加 了对更多图表和与源代码存储库、集成开发环境和知识管理工具集成的支持。 值得注意的是，它在 GitHub 和 GitLab 等流行源代码存储库中得到原生支持，从而可以在 Markdown 文档中嵌入并轻松更新 Mermaid 图表。 我们的许多团队都倾向于使用 Mermaid 作为他们的图表即代码工具，因为它易于使用、集成广泛，且支持的图 作为他们的图表即代码工具，因为它易于使用、集成广泛，且支持的图 表类型不断增多。 44. Ruff 采纳 Ruff 是一个新的 Python linter。使用 linter 是毋庸置疑的，只需要考虑具体要使用哪一个。Ruff 能够脱颖而 出有两个原因：开箱即用的体验，以及性能。其中内置了 500 多条规则，可以轻松取代 Flake8 和它的许多插件。 我们的经验证实了 Ruff 团队对其性能的说法。实际上，它的速度至少比其它

码头工人 pod 集装箱 kubernetes 舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定i hashing） lblcr 带复制的基于局部性最少连 接 sed （ shortest expected delay） nq（never queue） 默认使用rr ★k8s的service类型： ClusterIp 只能用于集群内部，iptables,ipvs cluster-ip:port --> real pod ip:port NodePort 通过每个node ip上的静态端口 #只从网络获取 ★列出k8s所有资源类型名称 # kubectl api-resources #列出所有资源类型详名称及缩写 名称 # kubectl api-resources --verbs=list --namespaced -o name #列出所有资源类型 名称 ★LimitRange

-> 选择增加节点类型为master -> 选择计算类型与规格 -> 添加云盘（可不选）-> 设 置添加数量 -> 输⼊登录⽤户密码 -> 核对⽆误后，点击确定进⾏添加 进⼊节点查看⻚⾯ -> 选择对应集群，新添加节点状态由创建中 -> 正常代表添加成功 8 添加worker节点 进⼊集群⻚⾯ -> 选择需要操作的集群 -> 点击集群扩容 核对集群ID -> 选择增加节点类型为worker 选择增加节点类型为worker -> 选择计算类型与规格 -> 添加云盘（可不选）-> 设置 添加数量 -> 输⼊登录⽤户密码 -> 核对⽆误后，点击确定进⾏添加 9 进⼊节点查看⻚⾯ -> 选择对应集群，新添加节点状态由创建中 -> 正常代表添加成功 删除worker节点（master节点不可移除） 进⼊节点查看⻚⾯ -> 选择对应集群，选择要删除的worker节点 -> 点击删除 10 点击删除后，仔细阅读提示后，没问题点击确认执⾏删除操作 动的⽀持 创建⽂件存储 NAS 选择⽂件存储NAS后，选择右上的新建按钮可以创建⼀块新的NAS存储 存储管理 1.简介 2. 操作说明 13 在新⻚⾯中，依次选择可⽤区，输⼊名称，选择类型和容量，最后单击确定 在该⻚⾯，可以看到所配置的存储的价格 可以⽤去的选择要和容器集群所在区域⼀致，不同区域的集群和存储间不能挂载和访问 创建挂载点 新创建的NAS盘，需要挂载后才能使⽤

使得许多其他系统可以构建在Kubernetes上。 Kubernetes不是什么？ Kubernetes不是⼀个传统的，全⾯的PaaS系统。 它保留了⽤户的重要选择。 Kubernetes： 不限制⽀持的应⽤类型。不规定应⽤框架（例如 Wildfly ），不限制⽀持的语⾔运⾏时（例如Java，Python， Ruby），不局限于 12-factor applications ，也不区分应⽤程序和服务 。 logging 。 04-K8s组件 17 Kubernetes API API conventions doc 中描述了API的总体规范。 API Reference 中描述了API端点、资源类型和样本。 access doc 讨论了API的远程访问。 Kubernetes API也是系统声明式配置模式的基础。 Kubectl 命令⾏⼯具可⽤于创建、更新、删除以及获取API对象。 Ku created 必填字段 在Kubernetes对象的 .yaml ⽂件中，您需要为以下字段设置值： apiVersion ——指定Kubernetes API的版本 kind ——你想创建什么类型的对象 metadata ——有助于唯⼀标识对象的数据，包括 name 字符串，UID和可选的 namespace 您还需要提供 spec 字段。对于不同的Kubernetes对象来说，

业务场景多形态。一云多芯作为云计算的全新技术架构，通常指用 一套云操作系统来管理不同类型芯片、架构、接口、技术栈等硬件 服务器集群。在如今算力需求爆炸的 AI 时代，一云多芯为各行各业 践行数字化转型提供了有力支持。一方面，它可以提供统一管理、 云计算白皮书（2023 年） 17 灵活便捷的算力资源，一定程度上解决了不同类型芯片的共存问题； 另一方面，它可以满足单一通用云平台无法支撑的复杂业务形态， 技术方面沉淀较少，企业人才配置更侧重于业务方 向，亟需低成本实现业务运行实时监测和云平台智能高效管控，上 云企业均需云厂商提供人员驻场服务，帮助企业用云管云。 从企业规模来看，央国企是发展数字中国的主力军，而中小企 业类型多、数量大，是影响整体上云进程的关键。两类企业在上云 用云过程中呈现出不同的特点。 央国企上云覆盖率较高，深度用云和丰富云上生态是其发展重 云计算白皮书（2023 年） 25 点。根据国务院国资委数据，中央企业上云覆盖率达到了 芯片，通过云计算平台实现 GPU 集群和 CPU 集群的标 准化封装，保障训练任务可以直接下发到大规模计算集群。同时在 数据处理方面，模型训练涉及 PB 级的存储数据集、中间结果和训练 好的模型参数等，且数据类型各异，也需要云计算平台提供的存储 方案，实现复杂数据的统一调度和处理。计算芯片多样化、异构数 据复杂化也加速云计算向能够一体化调度、处理计算、网络、存储 资源的操作系统方向演进。 向上来看，

Custom Job Node Script Image 1. 根据集群类型、版本、场景生成检测策略 2. 根据策略执行检测任务 3. 检测任务支持脚本或容器镜像 Ver.1 优化点 快速迭代的 Kubernetes 版本 • 月度发版 • 版本间的配置、参数、API 差异 多样集群类型（阿里云容器服务） • 托管版集群、Serverless 集群 • 边缘集群、GPU 边缘集群、GPU 集群 各类检测场景 • 节点、组件、配置等 • 集群升级、集群巡检 版本差异 * 类型差异 * 场景差异 检测项 Ver.1 优化点 检测代码在膨胀 检测能力迭代需要加速 检测框架 Ver.2 { 动态定制 动态扩展 Ver.2 DSL DSL (Domain-Specific Language) • 领域特定语言指专注于某个应用程序领域的计算机语言 • 目标受众为非程序员、业务员或最终客户 Script Image Report Builder Report Executor Autopilot Engine Ver.2 动态定制 Report Builder • 不同集群版本、类型、场景动态定制检测报告 • 不同检测点动态定制检测策略 Report cluster.version > 1.16.1 and cluster.type = Edge and report

服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 Kubernetes特点： 可移植: 支持公有云 K8s集群中的存储卷跟Docker的存储卷有些类似，只不过Docker的存储卷作用范围为一个容器，而K8s的存储卷的生 命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。K8s支持非常多的存储卷类型，特别 的，支持多种公有云平台的存储，包括AWS，Google和Azure云；支持多种分布式存储包括GlusterFS和Ceph；也支持 较容易使用的主机本地目录hostPath和NFS。K8s还支持使用Persistent 块存储，与Volume很类似，但有以下区别： ①PV只能提供网络存储，不属于任何Node，但可以在每个Node上访问 ②PV并不是定义在Pod之上的，而是独立于Pod之外定义。 ③PV目前只有几种类型：GCE Persistent Disks、NFS、RBD、iSCSI、AWS ElasticBlockStore、GlusterFS PV的accessModes属性有以下几类： ReadWri

• 错误定位 Generate • protoc -I {error proto file} --go-errors_out={output directory} • 实现我们自定义的error类型，方便断言。 • 根据注解的code信息，在错误码中生成对应的grpc status code • 确保错误码唯一，后续在API层响应用户数据确保唯一错误码，例如: 下单失败(1008) • errors里设置with 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • 单元测试 • 本地docker-compse • 提交代码，触发gitlab ci • 接口测试 • 接口平台 • 性能测试 • benchmark benchmark • 全链路压测 • 集成测试 • 以前gitlab ci，docker in docker • 目前结合配置中心拓扑图，自动生成jekins编排，ing 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 protoc --proto_path=${ROOT}/examples/helloworld --go-test_out=pkg=main,paths=source_relative:

息监控（包括CPU，Memory， BIO，Networking • 监控预警的阀值设置 • 收集监控日志 存储管理 • 对于所有 Kubernetes Volume 按照业务类型提供统一的管理 • 用户在进行Volume操作的时候 根据业务进行中间层处理，包括 但不限于访问权限，大小申请， 读写操作等 • 根据用户不同的角色进行集群不同的环境选择 • 在业务层面让用户感知为统一的环境 短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布： • 模型服务的负载均衡 • 硬件资源的规划 • 模型管理： • 模型的版本 • 模型的类型 研发环境与生产环境隔离 • 硬件资源互相隔离 • 网络资源相互连通 资源监控及分配策略 • 用户资源的限制 • - 创建训练任务的限制 • - 创建模型服务的限制 • AI 平 台的一个核心调度和任 务管理平台 • AI 业务层负责将具体 的业务逻辑实现，并与 Kubernetes 层对接 • 在底层硬件选型需要注 意适合 AI 模型训练和 在线服务的类型，例如 10G及以上的 networking和GPU TensorFlow 介绍 • TensorFlow™ 是一个使用数据流图进行数值计算的开源软件 库。图中的节点代表数学运算， 而图中的边则代表在这些节

资源规划不不合理理 • 单⼀一集群造成系统单点 • 不不区分集群和 Topic 等级，影响重要业务 • 业务与 Kafka 深度耦合 多 Kafka 集群⽅方式 根据 Topic 类型划分集群 同⼀一类型 Topic 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率 • 单机运⾏行行多 应⽤用程序管理理 Kafka on Kubernetes 设计 Kafka 容器器 • 内存、CPU、⽹网络和存储 调度 Kafka 容器器 内存 CPU 和⽹网络 内存 和 CPU • 依照集群类型测试基准数据 容器器⽹网络 • 容器器采⽤用独⽴立的内⽹网 IP ⽅方案 存储 容器器挂载服务本地⽬目录 Kafka ⾼高性能 • ⽂文件系统缓存 Kafka ⽇日志落盘 集群概览