Apache Pulsar,云原生时代的消息平台 - 翟佳
(C1) Producer (P3) Producer (P2) Consumer (C2) Beijing Shanghai Guangzhou streamnative.io ⼤数据处理中统⼀的存储的抽象 — Segmented Stream Segment0 Segment1 Segment2 Segment3 Producer Consumer Time Segment 5 Segment40 码力 | 39 页 | 12.71 MB | 6 月前0.03
24-云原生中间件之道-高磊都发生了很多变化,适应这些变化是落地云原生安全的关键! 标准化能力-承载无忧-E2E云原生纵深安全保障-2-商业价值 腾讯安全战略研究部联合腾讯安全联合实验室近日共同发布《产业互联网安全十大趋势(2021)》(下简称《趋势》),基于2020年的产业实践和行业风向, 从政策法规、安全技术、安全理念、安全生态、安全思维等维度为产业互联网的安全建设提供前瞻性的参考和指引,助力夯实产业互联网的安全底座。 所以急需一种新型的基于云原生理念的安全 角色、流程以及技术的方案! 传 统 安 全 工 作 传 统 由 独 立 安 全 工 程 师 负 责 , 与 开 发 人 员 沟 通 安 全 问 题 , 产 生 大 量 沟 通 成 本 传 统 安 全 检 查 编 码 和 测 试 之 后 , 安 全 工 程 师 才 介 入 , 如 果 发 现 问 题 , 又 需 要 研 发 修 复 和 重 新 测 试 , 严 重 安全问题左移一个研发阶段,修复成本就将 提升十倍,所以将安全自动化检查和问题发 现从运行态左移到研发态,将大大提高效率 和降低成本 默认安全策略,可以天然的规避大部分 安全问题,使得人员配置和沟通工作大 量减少,提高了整体效率! 安全右移是为了恰到好处的安全,一些非严 重安全问题,没有必要堵塞主研发流程,可 以交于线上安全防御系统。提高了整体实施 效率! 安全编排自动化和响应作为连接各个环 节的桥梁,安全管理人员或者部分由0 码力 | 22 页 | 4.39 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊供着“无感知护航”? 近日,在阿里巴巴双11技术沟通会上,阿里云研究员、阿里云云原生应用平台负责人丁宇表示,今年双11实现了核心系统全面云原生化的重大技术 突破,实现资源效率、研发效率、交付效率的三大提升,万笔交易的资源成本4年下降80%,研发运维效率平均增效10%以上,规模化应用交付效率 提升了100%。阿里巴巴在2020双11完成了全球最大规模的云原生实践。 与2019年全面云化相比,2020 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生产品全面支撑双11。技术侧,云原生四大核心技术实现规模和创新的双重突破,成为从技术能力向业务 价值成果转变的样本: • 支持全球最大容器集群、全球最大Mesh(ASM)集群,神龙架构和ACK容器的组合,可以实现1小时扩容1百万个容器,混部利用 核心业务规模实践Serverless,弹性伸缩能力会提升10倍,大幅提升压测支撑效率和稳定性。 • 云原生技术不仅在阿里内部大规模普及,也正通过阿里云服务全社会的双11。大促期间,阿里云原生还支撑了中国邮政、申通 快递、完美日记、世纪联华等客户,稳定高效应对双11大促的流量。以物流行业为例,申通快递将核心系统搬到云上,采用阿 里云容器服务,亿级包裹过境,系统稳如泰山,IT成本还降低了30%;以大型商超为例,世纪联华基于阿里云函数计算(FC)弹性0 码力 | 42 页 | 11.17 MB | 6 月前3
基于Consul的多Beats接入管控与多ES搜索编排ES负载高 日志延时统计 dashboard Beats进程资 源采集分析 日志接入 cpu/mem对比 提升cpu/mem 配额 Beats缓存调大 Beats Worker 并发调大 提高写入并发 单次bulk size 调大 Es性能分析 对比 自建 日志平台接入 上报延时分析 无法实时感知日志积压情况 日志延时dashboard快速定位 Filebeat性能分析 依赖白金版monitor机制 修改配置文件不断观察数据情况 基于ES压测报告给出专家级es参数优化建议 参数优化体验 修改配置文件、参数调优相对麻烦 全UI化、一站式处理 14 配置UI化 配置UI化开发思路 嵌套式表单 大表单套小表单,所有表单都是以angular组 件形式开发,保证代码的可复用性与质量 配置分级展现 把复杂配置独立成高级选择,并设置默认值, 并在复杂项给出有效帮助 自定义组件 编写大量自定义小组件,比如cmdb设置,时0 码力 | 23 页 | 6.65 MB | 1 年前3
27-云原生赋能 AIoT 和边缘计算、云形态以及成熟度模型之道-高磊是未来下一代云,目前云厂商还在摸索阶段 • 有望成为云计算终极形式,云原生ServiceMesh以及 OAM等会得到更广阔空间的提升和发展。 2020年,全球数据存储总量预计为58ZB,平均每年增长 1倍。当前数据爆炸时代带来了三大问题。一、储存成 本问题: 通过当前的中心化云计算处理和存储海量新 增数据费用高昂;二、隐私和安全问题: 当前的中心 化云计算无法保证个人数据的隐私和安全性;三、数字 资产流动性问题: 数据是一种资产,互联网巨头数据 Version Of Truth • 随时可以集成测试 • 持续研发必然带来持续集成、持续测试、持续交付、持续.......... 淘 宝 和 天 猫 合 并 建 设 业 务 中 台 , 三 大 中 间 件 核 心 系 统 上 线 。 阿 里 云 正 式 成 立 , 自 研 飞 天 操 作 系 统 并 开 启 云 化 时 代 。 2 0 0 9 支付宝最后一个小型机下 线,自研飞天操作系统全 云原生商业模式 商业模式也是和市场或者竞争者的博弈,要结合自己的优势进行布局,说白了,要让商业模式对自己获利最有利。 在服务模式上分成大超市方式、专卖店方式和便利店方式 30% 25% 45% 大超市 只为大客户提供优质服务 专卖店 比如烟酒专卖,更加专业, 只针对专业客户群体 便利店 实现普惠服务,更加深入场 景,做行业的云模式 云原生付费设计 云原生商业模式目前没有成熟,业界和云厂商0 码力 | 20 页 | 5.17 MB | 6 月前3
云原生微服务最佳实践微服务的价值和挑战 图片源自:http://www.zyiz.net/ 价值 效率(人越来越贵,算力越来越便宜) • 研发超过 10 人在 1 个代码冲突多 • 系统超过 5 个测试&上线协同代价大 • 数字化升级需要快速迭代 性能 • 单机成为性能瓶颈 可用性 • 单机成为可用性瓶颈 挑战 • 技术复杂度上升 • 运维成本上升 • 可定位性变差 • 快速迭代难以控制风险 阿里微服务解法和优势 前后端独立发布 布局、氛围调整 高可用平台配置 降级 开关 特性 开关 紧急预 案 提前预 案 白名单 日志级别 、采样率 超时、重试 流量调度 动态数据源 故障自动切库 DB大促预建联 密码定期修改 流量控 制 线程控 制 微服务生态 前端生态 Spring Sentinel 高可用生态 Dubbo Midway Switch 数据库生态 TDDL 服务鉴权0 码力 | 20 页 | 6.76 MB | 1 年前3
SBOM 为基础的云原生应用安全治理容器环境镜像风险 软件漏洞、恶意程序、敏感信息泄漏、不安全配 置、仓库漏洞、不可信镜像 容器环境 开 发 模 式 : 瀑 布 > 敏 捷 > D e v O p s 应 用 架 构 : 大 型 系 统 > S O A > 微 服 务 代 码 实 现 : 闭 源 > 开 源 > 混 源 服 务 器 : 物 理 机 > 虚 拟 化 > 容 器 化 聚焦到应用系 云原生时代下的软件供应链攻击 “到2025年,全球45%的组织会受到软件供应链攻击,比2021年增长三倍”——Gartner 云原生时代下的软件供应链攻击 软件供应链安全事件频发,“核弹级”第三方组件漏洞的影响面和危害大 2020 年12月,美国企业和政府网络突遭“太阳风 暴”攻击。黑客利用太阳风公司(SolarWinds) 的网管软件漏洞,攻陷了多个美国联邦机构及财富 500 强企业网络。2020 年 12 月0 码力 | 30 页 | 2.39 MB | 1 年前3
云原生安全威胁分析与能力建设白皮书(来源:中国联通研究院)着越来越重要的作用。云计算的普遍应用和相关技术发展,使其已经经历了云计 算 1.0 虚机时代、云计算 2.0 原生时代,目前正在朝着云计算 3.0 智能时代迈进。 因此,在当前云计算 2.0 时代,云原生技术日趋成熟,并因大语言模型的推 动助力朝着云计算 3.0 智能时代迈进的背景下,分析云原生安全的发展情况和面 临的威胁,并研究云原生安全能力,能够为企业整体的云安全防护体系建立提供 帮助,从而保障企业业务和数据更安全的在云上运转。 中国联通研究院是根植于联通集团(中国联通直 属二级机构),服务于国家战略、行业发展、企业生 产的战略决策参谋者、技术发展引领者、产业发展助 推者,是原创技术策源地主力军和数字技术融合创新 排头兵。联通研究院以做深大联接、做强大计算、做 活大数据、做优大应用、做精大安全为己任,按照 4+1+X 研发布局,开展面向 C3 网络、大数据赋能运 营、端网边业协同创新、网络与信息安全等方向的前 沿技术研发,承担高质量决策报告研究和专精特新核0 码力 | 72 页 | 2.44 MB | 1 年前3
Volcano加速金融行业大数据分析平台云原生化改造的应用实践不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集,资源波动大,需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景0 码力 | 18 页 | 1.82 MB | 1 年前3
共 9 条
- 1













