23-云原生观察性、自动化交付和 IaC 等之道-高磊Management • 把自己关在小黑 屋里面,自己就 可以自助的从API 使用角度定义、 驱动研发、发布 或者实施与自己 APP的集成。 • API作为产品,可 以给订阅、可以 被交易。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-1 知道 知道的 不知道 不知道的 主动性 被动性 监控 可观察 健康检查 告警 指标 日志 追踪 问题和根因 预警 监控&稳定性 分析&追踪&排错&探索 微服务部署后就像个黑盒子,如何发现问题并在 远端运维是主要的课题,那么就需要从宏观告知 研发人员,并且提供日志、跟踪、问题根因分析 等工具进一步从微观帮助研发人员定位和解决问 题,这是这里在业务上的价值-稳定性赋能。 标准化能力-微服务PAAS-从监控到可观测-研发人员的第五感-2 可观察性是云原生特别关注的运维支撑能力,因为它的主动性,正符合云原生对碎片变化的稳定性保障的思想 数据的全面采集 数据的关联分析 统一监控视图与展现 付环境中是不同的,而传统交付方式 缺乏脚本能“理解”的方式来表达这些 差异,此外由于事后更新OS、三方库 或者系统,这些变更又缺乏校验关系, 升级时很难给予企业信心,这种交付 方式很难被自动化。 标准化能力-微服务PAAS-OAM-万花筒PAAS-1-引子 客户环境交付 制品 • 云应用交付最难的还不是RT的 碎片化,最难的是环境依赖的 碎片化,比如,硬件环境、网 络环境、运维规范等的碎片化。0 码力 | 24 页 | 5.96 MB | 6 月前3
机器学习课程-温州大学-02机器学习-回归,不适合逻辑回归模型等其他模型。 19 数据归一化/标准化 ?1 ?2 梯度 ?1 ?2 梯度 为什么要标准化/归一化? 提升模型精度:不同维度之间的 特征在数值上有一定比较性,可 以大大提高分类器的准确性。 加速模型收敛:最优解的寻优过 程明显会变得平缓,更容易正确 的收敛到最优解。 20 数据归一化/标准化 归一化(最大 - 最小规范化) ?∗ = ? − ?min 1]区间 Z-Score标准化 ?∗ = ? − ? ? ?2 = 1 ? ?=1 ? (? ? −?)2 ? = 1 ? ?=1 ? ? ? 处理后的数据均值为0,方差为1 数据归一化的目的是使得各特征对 目标变量的影响一致,会将特征数 据进行伸缩变化,所以数据归一化 是会改变特征数据分布的。 数据标准化为了不同特征之间具备 可比性,经过标准化变换之后的特 征数据分布没有发生改变。 征数据分布没有发生改变。 就是当数据特征取值范围或单位差异 较大时,最好是做一下标准化处理。 21 数据归一化/标准化 需要做数据归一化/标准化 线性模型,如基于距离度量的模型包括KNN(K近邻)、K-means聚类、 感知机和SVM。另外,线性回归类的几个模型一般情况下也是需要做数 据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取0 码力 | 33 页 | 1.50 MB | 1 年前3
阿里云上深度学习建模实践-程孟力实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化 标准化模型库 标准化解决方案 1.方案复杂 图像 搜索 推荐 语音 视频理解 NLP 广告 CNN RNN GNN MLP Tensorflow PyTorch Parameter Server Components Framework EasyVision EasyRec GraphLearn EasyTransfer 标准化: Standard Libraries and Solutions 标准化: Standard Libraries EasyRec: 推荐算法库 标准化: Standard Libraries ImageInput Data Aug VideoInput Resnet 分布式存储 分布式查询 功能完备: GSL/负采样 主流图算法 异构图 (user/item/attribute) 动态图 标准化: Standard Libraries Graph-Learn: 分布式图算法库 标准化: Standard Solutions Continuous Optimization: Active learning Data Label0 码力 | 40 页 | 8.51 MB | 1 年前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊云原生赋能平台 标准化能力-分布式操作系统核心-容器服务 向上提供抽象化自愈IT运营视角 高效稳定应用资源供给 价值主张 架构 云原生底座=控制器+调度器的组合+Docker=根据环境的变化而动+基于封装 一致性的大规模分发 服务编排基本原理: • 以度量为基础,以NodeSelector算法来 决定在哪儿部署容器服务 • 运行时以期望与实际的差别进行动态调 整到期望的状态 标准化能力-分布式操作系统核心-容器服务-基本技术原理 拟机、物理,多云)的中间抽 象层,因为应用很复杂,很容 易陷入差异化定制市场,抽象 层的市场范围会更广,作为开 源平台,更容易成为通用性市 场选择。通用性才能做到普适 定制化能力,才能成为云原生 的操作系统。 标准化能力-分布式操作系统核心-容器服务-Operator API Server Kubectl Controller Pod,Deploymen t,etc. API Server Kubectl (K8s Yaml) Custom Resource Spec (K8S yaml) 通过拓展实现自定义控制器来实现对非标准资源的纳 管,比如数据库的自动拓展能力或者自动化数据同步 能力等等。 标准化能力-分布式操作系统核心-容器服务-新发展 由于历史遗留或者软件形态所限制,不可能所有的软件都可以被微服务化或被容器化,那么现在阶段来看,整个 数字化转型的一些困难就是处于在技术上的碎片化,为云原生0 码力 | 42 页 | 11.17 MB | 6 月前3
机器学习课程-温州大学-05机器学习-机器学习实践ROC和PR曲线 14 01 数据集划分 02 评价指标 3.正则化、偏差和方差 03 正则化、偏差和方差 15 ?1 ?2 梯度 ?1 ?2 梯度 为什么要标准化/归一化? 提升模型精度:不同维度之间的 特征在数值上有一定比较性,可 以大大提高分类器的准确性。 加速模型收敛:最优解的寻优过 程明显会变得平缓,更容易正确 的收敛到最优解。 3.正则化、偏差和方差 1]区间 Z-Score标准化 ?∗ = ? − ? ? ?2 = 1 ? ?=1 ? (? ? −?)2 ? = 1 ? ?=1 ? ? ? 处理后的数据均值为0,方差为1 数据归一化的目的是使得各特征对 目标变量的影响一致,会将特征数 据进行伸缩变化,所以数据归一化 是会改变特征数据分布的。 数据标准化为了不同特征之间具备 可比性,经过标准化变换之后的特 征数据分布没有发生改变。 征数据分布没有发生改变。 就是当数据特征取值范围或单位差异 较大时,最好是做一下标准化处理。 3.正则化、偏差和方差 18 需要做数据归一化/标准化 线性模型,如基于距离度量的模型包括KNN(K近邻)、K-means聚类、 感知机和SVM、神经网络。另外,线性回归类的几个模型一般情况下也 是需要做数据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取0 码力 | 33 页 | 2.14 MB | 1 年前3
24-云原生中间件之道-高磊标准化能力-承载无忧-E2E云原生纵深安全保障DevSecOps-1 Applications Data Runtime Middleware OS Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供,如果是HCI架构, 作为总体集成方,会降低安全集成成本 可信计算环境:OS安全、TPM加密、TEE可信环境 价值,需要立体纵深式的安全保障。 由于云原生DevOps环境追求效率以及运行态的动态治理能力,导致传统安全实施方法、角色、流程、技术 都发生了很多变化,适应这些变化是落地云原生安全的关键! 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 腾讯安全战略研究部联合腾讯安全联合实验室近日共同发布《产业互联网安全十大趋势(2021)》(下简称《趋势》),基于2020年的产业实践和行业风向, 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 , 而 很 多 入 侵 风 险 是 不 可 预 知 的 ! 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段,修复成本就将 提升十倍,所以将安全自动化检查和问题发 现从运行态左移到研发态,将大大提高效率 和降低成本0 码力 | 22 页 | 4.39 MB | 6 月前3
Keras: 基于 Python 的深度学习库5.9.6 ReLU[source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 5.10 标准化层 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 5.10.1 BatchNormalization 之间的点 积。 参数 关于 KERAS 网络层 106 • axes: 整数或者整数元组,一个或者几个进行点积的轴。 • normalize: 是否在点积之前对即将进行点积的轴进行 L2 标准化。如果设置成 True,那么 输出两个样本之间的余弦相似值。 • __**kwargs__: 层关键字参数。 5.8.8 add keras.layers.add(inputs) Add 层的函数式接口。 inputs: 一个列表的输入张量(列表大小至少为 2)。 • axes: 整数或者整数元组,一个或者几个进行点积的轴。 • normalize: 是否在点积之前对即将进行点积的轴进行 L2 标准化。如果设置成 True,那么 输出两个样本之间的余弦相似值。 • __**kwargs__: 层的关键字参数。 返回 一个张量,所有输入张量样本之间的点积。 关于 KERAS 网络层 1090 码力 | 257 页 | 1.19 MB | 1 年前3
企业云原生的探索与落地深圳沙龙-RacherLabs-20-11-14/安信证券DevOps探索与实践、上线记 录、缺陷信息等。 将一切纳入版本控制 ⚫ 源代码 ⚫ 配置文件 ⚫ 数据库脚本 ⚫ 部署脚本 ⚫ Dockerfile, Helm Charts ⚫ ... 版本变更标准化 单一可信数据源 ⚫ 代码提交记录与需求的 双向关联 ⚫ 统一的两方库、三方库 ⚫ 统一的生产发布仓库 ⚫ 漏洞及lisence扫描 ⚫ Jira issue key 检查Jira中对应的任务是否存在 配置管理-版本变更标准化 工具集成-代码提交检查 配置管理-单一可信数据源 试点项目实践-持续集成 频繁集成 ⚫ 每次代码提交触发完整 流水线过程 ⚫ 集成规则 01 自动化验证 ⚫ 单元测试 ⚫ 代码静态扫描 ⚫ 部署 ⚫ 自动化测试 02 第一时间修复 ⚫ 优化流水线执行时长 ⚫ 关注红灯修复时长 03 标准化的资源池 ⚫ 构建环境标准化 ⚫ 动态按需初始化 webhook sit 流水线 create release branch dev 流水线 工具集成-提交即触发构建 持续集成-集成规则及自动触发流水线 工具集成-提交即触发构建 持续集成-标准化的资源池 工具集群 构建集群 master jnlp-slave maven sonar-cli ansible npm jnlp-slave docker sonar-cli jnlp-slave0 码力 | 27 页 | 2.42 MB | 1 年前3
【PyTorch深度学习-龙龙老师】-测试版202112torchvision.transforms.ToTensor(), # 标准化 torchvision.transforms.Normalize( 28]),y 的形状为 torch.Size([512]),分别 代表了 512 张图片数据和 512 个图片的标签数字;x 的最小值和最大值为: tensor(-1.) 、 tensor(1.),这也是标准化后数值范围。通过 plot_image 函数可以观察图片和对应的标签, 如图 3.4 所示。 图 3.4 批图片数据可视化 3.2 模型构建 回顾上一章在回归问题中讨论的生物神经元结构。把一组长度为 中经.batch()后加载的图片 x shape 为 [?, 28,28],像素使用 0~255 的整型表示;标签 shape 为[?],即采样数字编码方式。实际的 神经网络输入,一般需要将图片数据标准化到[0,1]或[−1,1]等 0 附近区间,同时根据网络 的设置,需要将 shape 为[28,28]的输入视图调整为合法的格式;对于标签信息,可以选择 在预处理时进行 One-hot 编码,也可以在计算误差时进行0 码力 | 439 页 | 29.91 MB | 1 年前3
Kubernetes + OAM 让开发者更简单PaaS B PaaS C 研发效率 学习成本 同一个公司内数个 PaaS on Kubernetes 思考: 1. 基于 Kubernetes 2. 用户友好、高可扩展 3. 统一、标准化 理想中的应用管理平台 目标一:一个面向用户,应用为中心 CI/CD 流水线 应用 扩容策略 发布策略 分批策略 访问控制 流量配置 Pod Deployment Service Node Custom 抽象程度:高 抽象程度:低 发布策略 扩容策略 $ helm install traffic 流量策略 业务运维 业务研发 多样化场景,统一支持! 生态能力,一键上线! 目标三:一个统一、标准化的应用管理引擎 应用组件 运维能力 扩容策略 发布策略 分批策略 访问控制 流量配置 应用配置 应用管理引擎 能力注册 Docker Compose Dashboard CLI DSL 框架 OAM + OAM Platform UI Open Application Model Platform Kubernetes GitOps/持续集成 标准化定义应用组件 标准化配置应用运维能力 标准化管理 k8s 能力插件 业务运维 业务研发 平台工程师 统一、标准、高可扩展的云 原生应用管理平台 Component Trait 能力注册与管理 应用 Component0 码力 | 22 页 | 10.58 MB | 1 年前3
共 55 条
- 1
- 2
- 3
- 4
- 5
- 6













