Golang大规模云原生应用管理实践Golang⼤规模云原⽣应⽤管理实践 刘洋(炎寻) 关于我 • 毕业于中国科学技术大学,定居杭州 • 就职于阿里云-云原生应用平台团队 • Problem Solver,聚焦中间件,容器,Kubernetes,PaaS平台… • OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 策略与机制随着层次的变化而变化; 应用管理的策略与机制 应用 版本 工作负载 负载均衡 标签 流量 组件 日志 指标 容量 服务 依赖 路由规则 持久卷 部署策略 健康检查 … 灰度 发布 定时弹性 事件 指标弹性 分批发布 重启 回滚 日志管理 事件中心 指标监控 存储挂载 服务绑定 手动弹性 回退历史 负载均衡 报警 诊断 组件管理 服务治理 … 认知成本高:K8s功能强大却没有统一的使用方式,不得不学习复杂的声明字段和各种奇怪的Annotation; • 稳定性不足:没有设置Pod的QoS等级,导致频繁被驱逐,没有设置反亲和性策略,导致节点流量不均; • 扩展效率低:需要负责安装,升级丰富的云原生插件,无法解决插件的依赖,冲突和资源浪费问题; • 运维成本高:Apiserver, etcd, Controller-Manager, Kubelet0 码力 | 23 页 | 7.70 MB | 1 年前3
08 Pipenv和Python包管理 明希Python的依赖管理及Pipenv @frostming 我是谁? • 研发效能·持续集成@Tencent • 从 2014 年开始用 Python,前测试,现开发 • 开源爱好者 • Pipenv 维护者之一 队长别开枪,是我! 目录 CONTENTS 为什么需要虚拟环境 为什么需要依赖管理 Pipenv 的简单使用 Python 包管理的未来 为什么需要虚拟环境 你是否遇到过这些问题: • virtualenvwrapper • pew • pyenv-venv • conda • direnv • ... pip ? + 我们为什么需要依赖管理 pip 是否已经足够使用? 它的依赖管理有什么问题? 碰到这些问题,该怎么办? 依赖冲突 $ pip install celery django-celery $ pip install celery $ pip (piptools) • Poetry • 没了 可用工具 Pipenv 的简单使用 • 自动创建、管理虚拟环境,与项目绑定 • 依赖解析、锁定 • 新的requirements.txt规范,基于TOML格式 • 优美的命令行界面 Pipenv Demo Python 包管理的未来 Python 包管理的未来 PEP 517 – 与构建系统无关的配置文件格式 PEP 518 – 在指定Python构建依赖0 码力 | 24 页 | 1.24 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 02 现代 C++ 入门:RAII 内存管理分为前半段和后半段,前半段主要介绍现代 C++ ,后半段主要介绍并行编程与优化。 1.课程安排与开发环境搭建: cmake 与 git 入门 2.现代 C++ 入门:常用 STL 容器, RAII 内存管理 3.现代 C++ 进阶:模板元编程与函数式编程 4.编译器如何自动优化:从汇编角度看 C++ 5.C++11 起的多线程编程:从 mutex 到无锁并行 6.并行编程常用框架: OpenMP 们来点(相对)简单的作为饭后甜点吧! C++98 :令人头疼的内存管理 • 在没有智能指针的 C++ 中,我们只能手 动去 new 和 delete 指针。这非常容易出 错,一旦马虎的程序员忘记释放指针,就 会导致内存泄露等情况,更可能被黑客利 用空悬指针篡改系统内存从而盗取重要数 据等。 RAII 解决内存管理的问题: unique_ptr • 似曾相识的情形……是的,和我们刚刚提 放时。比如:指向窗口中上一次被点击的元素。 5. 初学者可以多用 shared_ptr 和 weak_ptr 的组合,更安全。 shared_ptr 管理的对象生命周期,取决于所有引用中,最长寿的那一个。 unique_ptr 管理的对象生命周期长度,取决于他所属的唯一一个引用的寿命 。 那是不是只要 shared_ptr 就行,不用 unique_ptr 了? • 可以适当使用减轻初学者的压力,因为他的行为和0 码力 | 96 页 | 16.28 MB | 1 年前3
C++高性能并行编程与优化 - 课件 - 16 现代 CMake 模块化项目管理指南现代 CMake 模块化项目管理指南 彭于斌( @archibate ) 课件 & 源码: https://github.com/parallel101/course 往期录播: https://space.bilibili.com/263032155 找不到头文 件怎么办呀 CMake Cookbook 小彭老师建议 : ~~-·~·~-·~ -~·-·~·- 第一章:文件 / 1/lib/cmake/Qt5” 设置。 举例, Windows 系统, Qt5 • 例如我把 Qt5 安装到了 D:/Qt5.12.1 。 • 首先找到他里面的 Qt5Config.cmake 文件所在位置(可以用文件管理器的“搜索”功能)。 • 假如你找到该文件的位置是 D:/Qt5.12.1/msvc2017/lib/cmake/Qt5/Qt5Config.cmake ,那 么请你设置变量 Qt5_DIR 为 阶段,可以从命令行设置(注意要加引号): • cmake -B build -DQt5_DIR=”D:/Qt5.12.1/msvc2017/lib/cmake/Qt5” • (2) 全局启用。右键“我的电脑” ->“ 管理” ->“ 高级”添加一个环境变量 Qt5_DIR 值为 D:/Qt5.12.1/msvc2017/lib/cmake/Qt5 ,然后重启 Visual Studio 。这样以后你每次构建任 何项目,0 码力 | 56 页 | 6.87 MB | 1 年前3
全球架构师峰会深圳2015/研发体系构建_龚银_中型创业公司的技术管理之痛ArchSummit 全球架构师峰会 深圳站 2015 中型创业公司的 技术管理之痛 By 龚银 何谓「中型创业公司」 创业 公司 中型 创业公司 成熟 公司 自我介绍 从事过传统IT、搞过硬件、短暂创业、玩过互联网、...... 金蝶 比格邦 天猫 一加 12 • 传统IT • ERP • 广电行业 • 硬件 • 重视规划和系统思维的作用,根据现状随时调整轻重缓急 充分的沟通机制和反馈机制,让大家都能有一致的理解 聚焦与系统思维 技术和管理比重随时调整和平衡 技术、业务和管理的平衡 技术管理者大多对技术热衷,对管理忽视 技术、业务、系统花费精力和时间太多,团队管理精力太少 平衡 时间的分配:轻重缓急,适度授权 根据团队规模和业务情况,选择合适自己的占比 制定规划,不同的时间点和阶段重心进行调整 个人的几点有效实践 锻炼身体,保持良好的体力和心态 每天写管理日志,如实记录,定期反思 保持学习,每天至少预留30分钟时间思考,30分钟时间学习 定期的一对一会谈 心态、视野、行动 不同公司不同阶段有不 同的关注点和解决方法 ,没有标准答案,思考 并实践,找到最合适自 己的路 文化 管理 组织 技术 “在担任CEO的8年多时间里 ,只有3天是顺境,剩下的80 码力 | 36 页 | 2.49 MB | 1 年前3
Go Module在又拍云的实践0 码力 | 28 页 | 12.85 MB | 1 年前3
Nacos架构&原理
Nacos 寻址机制 56 Nacos 服务发现模块 63 Nacos 注册中心的设计原理 63 Nacos 注册中心服务数据模型 80 Nacos 健康检查机制 89 Nacos 配置管理模块 97 配置⼀致性模型 97 Nacos ⾼可⽤设计 100 Nacos 高可用设计 100 Nacos 鉴权插件 103 Nacos 账号权限体系 103 Nacos 认证机制 110 281 Eureka 平滑迁移 Nacos 方案 281 Nacos 打通 CMDB 实现就近访问 288 跨注册中心服务同步实践 298 配置管理最佳实践 310 Nacos 限流最佳实践 310 Nacos 无缝支持 confd 配置管理 320 结语 326 结语 326 作者 < 6 作者 李艳林(彦林) 李晓双 孙立(涌月) 柳遵飞(翼严) 廖春涛(春少) 杨翊(席翁) 的架构设计、功能使用和最佳实践,推荐分布式应用的开发人员、运维人员和 对该领域感兴趣的技术爱好者阅读。 推荐序 < 8 Facebook 工程师 & CNCF 前 TOC 成员 - 李响 服务注册、发现与配置管理是构成大型分布式系统的基石。Nacos 是集成了这三种能力的现代化、 开源开放的代表系统。本书系统化的介绍了 Nacos 诞生的历史背景以及其在阿里集团内部孕育的过 程,阐述了打造⼀款实用、易用0 码力 | 326 页 | 12.83 MB | 9 月前3
2022年美团技术年货 合辑图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 116 美团外卖推荐情境化智能流量分发的实践与探索 129 大众点评搜索相关性技术探索与实践 152 美团 SemEval2022 结构化情感分析跨语言赛道冠军方法总结 174 检索式对话系统在美团客服场景的探索与实践 小时的行驶状况,具体可参考:KDD Cup 2017 比赛 介绍详情 [29]。竞赛根据行驶状况的不同,分为了行驶时间预测和交通流量预测两个赛 道。参赛选手需要解决以下两个挑战: 算法 < 47 ● 数据小、噪声多。如下图 8 所示,框中时间段的数值分布和其他时间段的分布 有明显的差异。 图 8 交通流量数据中的噪音 ● 极值对结果影响大,评估指标使用了 MAPE,如下式,其中 At 代表实际值, Ft 触发策略:用户意图识别、广告商家数据理解,Query 改写,深度匹配,相关性建模。 ● 质量预估:广告质量度建模。点击率、转化率、客单价、交易额预估。 ● 机制设计:广告排序机制、竞价机制、出价建议、流量预估、预算分配。 ● 创意优化:智能创意设计。广告图片、文字、团单、优惠信息等展示创意的优化。 算法 < 65 岗位要求: ● 有三年以上相关工作经验,对 CTR/CVR 预估、NLP、图像理解、机制设计至少一方面有应0 码力 | 1356 页 | 45.90 MB | 1 年前3
FISCO BCOS 2.5.0 中文文档FISCO BCOS Documentation, 发 发 发布 布 布 v2.5.0 1.3 核 核 核心 心 心模 模 模块 块 块 FISCO BCOS采用高通量可扩展的多群组架构,可以动态管理多链、多群组,满足多业务场景的扩展需 求和隔离需求,核心模块包括: • 共 共 共识 识 识机 机 机制 制 制:可插拔的共识机制,支持PBFT、Raft和rPBFT共识算法,交易确认时延低、吞吐量 白名 名 名单 单 单机 机 机制 制 制:每个群组仅可接收相应群组的消息,保证群组间网络通信的隔离性;CA黑名单机 制可及时与作恶节点断开网络连接,保障了系统安全。 • 权 权 权限 限 限管 管 管理 理 理机 机 机制 制 制:基于分布式存储权限控制机制,灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支 支 支持 持 持国 国 国密 密 密算 算 算法 法 法:支持国密加密、签名算法和国密通信协议。 • 落 落 落盘 盘 盘加 加 加密 密 密方 方 方案 案 案:支持加密节点落盘数据,保障链上数据的机密性。 • 密 密 密钥 钥 钥管 管 管理 理 理方 方 方案 案 案:在落盘加密方案的基础上,采用KeyManager服务管理节点密钥,安全性更强。 • 同 同 同态 态 态加 加 加密 密 密、 、 、群 群 群环 环 环签 签 签名 名 名:链上提供了同态加密、群环签名接口,用于满足更多的业务需求。0 码力 | 540 页 | 8.77 MB | 1 年前3
FISCO BCOS 2.5.0 中文文档消息订阅服务 AMOP协议 智能合约 合约引擎 支持Solidity和预编译合约 引擎特点 图灵完备,沙盒运行 版本控制 基于CNS支持多版本合约 灰度升级 支持多版本合约共存、灰度升级 生命周期管理 支持合约和账户的冻结、解冻 密码算法和协议 国密算法 支持 国密SSL 支持 哈希算法 Keccek256、SM3 对称加密算法 AES、SM4 非对称加密算法 ECDSA、SM2 非对称加密椭圆 非对称加密椭圆 曲线 secp256k1、sm2p256v1 安全控制 存储安全 支持落盘数据加密存储 整体架构 通信安全 支持全流程SSL 准入安全 基于PKI身份认证体系 证书管理 支持证书颁发、撤销、更新 权限控制 支持细粒度权限控制 隐私保护 物理隔离 群组间数据隔离 隐私保护协议 支持群签名、环签名、同态加密 场景化隐私保护 机制 基于WeDPR支持隐匿支付、匿名投票、匿名竞拍、选择 提供Spring-boot-starter 压测工具 SDK内嵌压测工具,支持Caliper 运维支持 运维建链工具 提供企业级联盟链部署工具 可视化数据展现 区块链浏览器 可视化节点管理 基于WeBASE,提供节点管理器 动态管理节点 支持动态新增、剔除、变更节点 动态更改配置 支持动态变更系统配置 数据备份与恢复 提供数据导出与恢复服务组件 监控统计 输出统计日志,提供监控工具 监管审计 基于WeBASE,提供监管审计入口0 码力 | 1456 页 | 13.35 MB | 1 年前3
共 467 条
- 1
- 2
- 3
- 4
- 5
- 6
- 47













