基于 KUBERNETES 的 容器器 + AI 平台视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用(机器器学习) - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 如何实现 • K8s - 单『控制集群』, 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』,多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo (内部项⽬目)- ⽣生产级镜像仓库解决⽅方案,基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 为多租户和复杂权限集成⽽而增强 『token service』 • 管理理基于规则的镜像仓库 • 其他企业需要的优化功能 企业典型的多租户模型 租户 Tenant User User group Namespace Deployment Registry project CI/CD workspace Pod … resources CPU quota MEM0 码力 | 19 页 | 3.55 MB | 1 年前3
Ubuntu 桌面培训 2010VI如何自动登录? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498 XI.VIII关于系统安全 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 I.6 Ubuntu 安全 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Ubuntu 承诺 教员注记: 强调 Ubuntu 承诺,因为它包含了 Ubuntu 精神中最精髓的部分,这也是 Ubuntu 成功的最本质原因。 • Ubuntu 永远免费,包括商业发行版和安全更新。 • Ubuntu 由 Canonical 和全球数百家公司提供完整的商业支持。 • Ubuntu 有自由软件社区提供的最好的翻译和无障碍设施。 • Ubuntu 所有核心应用程序都是自由软件,Ubuntu0 码力 | 540 页 | 26.26 MB | 1 年前3
使用 Docker 建立 MySQL 集群epel-release 然后再 yum install docker-io 第二步 运行 Mariadb 容器 首先要将数据镜像拉下来 docker pull mariadb:latest 注意,如果不加:latest 标签,docker 会把所有的镜像版本都拉下来。 然后我们就可以启动镜像了,参数方面需要注意的有一下几点: 1,-name <给容器取个好记的名称> 2,-e MYSQL_ROOT_PASSWORD 权限的用户及其对应密码 6,设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像,建立出来的容器未必能一次达到要求,建议是将 run 命令写成脚本,创建后使用 docker inspect <容器名> 仔细查看容器信息,关注镜像公开的端口和文件目录。如果发现达不到要求,使 用 docker rm -f <容器名> 删除容器后修改 run 脚本再次运行,直到满意为止。 -e MYSQL_DATABASE=medical_waste \ -e TERM=linux \ -d mariadb 第三步 配置一主一从集群 3.1 接下来启动另一个容器作为从数据库,因为镜像不支持在容器内进入 mysql 控制 台,所以依然需要把端口暴露出来以供局域网访问,但主数据库容易可以链接进 来作为一个可访问的主机 master_db。 docker run --name <从数据库名>0 码力 | 3 页 | 103.32 KB | 1 年前3
RocketMQ v3.2.4 开发指南项目开源主页:https://github.com/alibaba/RocketMQ 6 (4). 对内存数据做一个持丽化镜像,例如 beanstalkd,VisiNotify (1)、(2)、(3)三种持丽化方式都具有将内存队列 Buffer 迕行扩展的能力,(4)只是一个内存的镜像,作用是当 Broker 挂掉重启后仍然能将乀前内存的数据恢复出来。 JMS 不 CORBA Notification 优点:即使频繁调用,使用小块文件传输,效率也很高 缺点:丌能很好的利用 DMA 方式,会比 sendfile 多消耗 CPU,内存安全性控制复杂,需要避免 JVM Crash 问题。 2. 使用 sendfile 方式 优点:可以利用 DMA 方式,消耗 CPU 较少,大块文件传输效率高,无内存安全新问题。 缺点:小块文件效率低亍 mmap 方式,只能是 BIO 方式传输,丌能使用 NIO。 RocketMQ Header 迕行过滤,甚至可以挄照 Message Body 迕行过滤。 5. 使用 Java 诧言迕行作为过滤表达式是一个双刃剑,方便了应用的过滤操作,但是带来了服务器端的安全风险。 需要应用来保证过滤代码安全,例如在过滤程序里尽可能丌做申请大内存,创建线程等操作。避免 Broker 服 务器収生资源泄漏。 使用方式参见 Github 例子 https://github.com0 码力 | 52 页 | 1.61 MB | 1 年前3
Kubernetes Operator 实践 - MySQL容器化… mysql Pod-T 0. 创建 CRD 3. 集群管理 2. 调度 pod Ceph Kubernetes 的容器编排 • Pod 名稳定 • Pod 启动有序 • Pod 扩容安全 Deployment mysql-5f54tvkj8 mysql-7c46782dr mysql-577ck9s8f StatefulSet mysql-0 mysql-1 mysql-2 集群1 mha-node mha-node MHA 在 operator 的实现 • mha-manager 部署在 operator 容器中 • mha-node 为边车容器 • 镜像中设置 ssh 免密认证 Operator 在集群成员都正常运行 后,启动 manager 进程 mysql-pod-1 app-container mysql init-container 实践 ü 自定义 controller,使用 CRD ü MHA、MGR 高可用的实现 ü 扩缩容、故障处理流程 ü 分布式存储 ceph 展望 • 优化存储 • 增强 MySQL 的安全性 • 完善数据处理工具0 码力 | 42 页 | 4.77 MB | 1 年前3
GPU Resource Management On JDOS常规的容器服务 ,使用 gpu 的 zone , 自行设定相应的镜像即 可,有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作,用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像,不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 资源,提高 GPU 利用率 – Job 调度 (部门 quota 限制 + 优先级) • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架(镜像):支持官方,亦可自制 (提供 dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git Serving 服务,只需用户指定模型,即可提供 grpc 和 rest 服务,同时使用 GPU 复用 +HPA 提高 GPU 利用率 创建 Serving 与训练集成 • 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型 • 用户只需要填写模型地址即 可 GPU 监控 • 容器监控服务,自适 应 GPU 容器,可根据 容器 IP 查询记录 , 便 于用户查看服务状态0 码力 | 11 页 | 13.40 MB | 1 年前3
清华大学 DeepSeek 从入门到精通求: ① 保持时间复杂度不变; ② 使用numpy优化数组操作; ③ 输出带时间测试案例的完整代码。" 创造性需求 "设计一款智能家居产品,要求: ① 解决独居老人安全问题; ② 结合传感器网络和AI预警; ③ 提供三种不同技术路线的原型草图说明。" �实战技巧: 还要不要学提示语? 提示语(Prompt)是用户输入给AI系统的指令或信息,用于 常见陷阱与应对:新手必知的提示语设计误区 忽视伦理边界陷阱:低估AI的伦理限制 陷阱症状: ▪ 要求AI生成有争议、不道德或非法内容。 ▪ 对AI的拒绝或警告感到困惑或不满。 ▪ 尝试绕过AI的安全机制。 ▪ 忽视AI输出可能带来的伦理影响。 应对策略: ▪ 了解界限:熟悉AI系统的基本伦理准则和限制。 ▪ 合法合规:确保你的请求符合法律和道德标准。 ▪ 伦理指南:在提示语中明确包含伦理考虑和指导原则。 伦理指南:在提示语中明确包含伦理考虑和指导原则。 ▪ 影响评估:要求AI评估其建议或输出的潜在社会影响。 AI伦理考虑要点 ▪ 隐私保护 ▪ 公平性和非歧视 ▪ 透明度和可解释性 ▪ 社会影响评估 ▪ 安全和滥用防范 提示语设计检查清单 ▪ 目标明确性 ▪ 信息充分性 ▪ 结构合理性 ▪ 语言中立性 ▪ 伦理合规性 ▪ 可验证性 ▪ 迭代空间 ▪ 输出格式 ▪ 难度适中 ▪ 多样性考虑0 码力 | 103 页 | 5.40 MB | 8 月前3
MySQL高可用 - 多种方案dbserver 10.1.1.75 puppet Authkerys 的配置 这个文件用来配置密码认证方式,支持3种认证方式,crc,md5和sha1, 从左到右安全性越来越高,消耗的资源也越多。因此如果 heartbeat 运行在安全的网路之上,比如私网,那么可以将验证方式设置成 crc, master 和 backup 的 authkeys 配置一样。我的 authkeys 文件配置如下: vim 这个工具来保证。默认情况下只有一台 mysql 在工作,当主 mysql 服 务器出现问题后,系统将自动切换到备机上继续提供服务,当主数据库修复完毕, 又将服务切回继续由主 mysql 提供服务。 5.2 方案优缺点 优点:安全性高、稳定性高、可用性高,出现故障自动切换, 缺点:只有一台服务器提供服务,成本相对较高。不方便扩展。可能会发生脑裂。 5.3 方案架构图 5.4 方案适用场景 本方案适用于数据 10.1.1.108 dbserver2 Authkerys 的配置 这个文件用来配置密码认证方式,支持3种认证方式,crc,md5和sha1, 从左到右安全性越来越高,消耗的资源也越多。因此如果 heartbeat 运行在安全的网路之上,比如私网,那么可以将验证方式设置成 crc, master 和 backup 的 authkeys 配置一样。我的 authkeys 文件配置如下: vim0 码力 | 31 页 | 874.28 KB | 1 年前3
清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单使其在学术研究和工业应 用中具有广泛的应用前景 可解释性和可靠性 需要采取措施确保模型的 可靠性和可解释性 社区参与 需要社区成员的共同参与 维护和更新,需要较高的 社区活跃度和凝聚力 安全性 需要采取措施确保模型的 安全性和隐私保护 模型 训练成本 调用成本 (输入/百万 tokens) 调用成本 (输出/百万 tokens) DeepSeek-V3 557.6万美元 0.14美元(缓存未命中) 完全开源免费;社区支持广泛; 多语言基础能力均衡 多模态功能缺失; 长文本生成质量不稳定 Anthropic Claude-3.5 闭源推理模型 对话系统、内容生成、 逻辑推理 对话逻辑连贯性强; 伦理安全性高;文档分析能力突出 中文支持较弱; 闭源且 API 访问受限 百度 文心一言 闭源大语言模型 多语言处理、复杂的语 言理解和文本生成 中文场景优化最佳; 多模态搜索整合;本土行业适配性强0 码力 | 85 页 | 8.31 MB | 8 月前3
强大的音视频处理工具: FFmpegall right reserved, powered by Gitbook最后更新: 2021-09-14 11:12:43 ffmpeg -i 1xx-我来保证你们的安全.mp4 ffmpeg -i 1xx-我来保证你们的安全.mp4 ffmpeg version 3.4.2 Copyright ffmpeg version 3.4.2 Copyright ((cc)) 2000-20180 码力 | 73 页 | 11.57 MB | 1 年前3
共 11 条
- 1
- 2













