海尔实时计算平台技术选型与实践
海尔实时计算平台技术选型与实践 海尔电器-肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景-海尔大数据总体规划 实时计算平台框架 存 储 服 w2 current w1 w2 w3 … … w1 w2 w3 … today lastday lastmonth 实时计算平台如何监控和报警? 海尔实时计算平台技术选型与实践 平台监控 • Ganglia • Nagios 海尔实时计算平台技术选型与实践 开源技术改造经验-数据可视化 数据可视化目标 目标:为公司所有数据分析类项目,提供数据洞察和展示工具。 数据可视化可选方案 数据分析 • 数据可视化和协作 Zeppelin优势-多语言支持 多语言支持 • 强大的解析器 • 允许任何语言接入 Zeppelin-技术架构 Zeppelin技术: • 基于JAVA开发 • 前端Angularjs1.5+nvd3.js Zeppelin改造 Server: • 支持echarts json数据 • 前端的计算逻辑都改到后端 前端: • 前端nvd3.js替换成echarts0 码力 | 41 页 | 3.21 MB | 1 年前3领域驱动设计&中台/演进式架构的平台化落地
ThoughtWorks ⾸首席咨询师 姚安峰 关于讲师 ThoughtWorks⾸首席咨询师。从事精益、敏敏捷等软件 产品研发⽅方法的践⾏行行与推⼴广,对从业务探索、产品与 服务设计、演进式架构、敏敏捷开发、持续交付、数据 运营等端到端数字化业务的⽅方法与实践及其规模化应 ⽤用有深⼊入研究和丰富实践经验。 ⽬目前致⼒力力于帮助各⾏行行业客户实现数字化转型,建⽴立数 字时代的精益研发体系,提升规模化创新能⼒力力。近两 Production 微服务研发平台落地 落地优秀实践,守护架构,降低微服务 研发学习成本 企业研发⼯工具链⽣生态 敏敏捷协作平台 部署发布 平台 持续交付流⽔水线平台 ⾃自动测试 平台 微服务系统设计,研发与运维管理理 微服务 /API设 计 代码 ⽣生成 契约 服务 架构 演进 微服务 运维治 理理 部署架 构 设计 统⼀一协作平台 研发⼯工具连 为某企业做的微服务平台规划 为某企业做的微服务平台规划 部署架构设计 服务 契约 定义 契约 代码 评审 开 发 服务运⾏行行治理理 服务 部署 运⾏行行架构治理理 故障 分析 定义架构 约束条件 微服务架构设计 服务地图 设计 API设计 部署架构设计 微服务⼯工程创建 开发 框架 架构 ⻛风格 资源 配置 … 架构演进 服务 关系 分析 代码 质量量 分析 数据 库分 析0 码力 | 42 页 | 2.95 MB | 1 年前3领域驱动设计&中台/物联网平台的反应式设计
����������� 唐成 CONTENTS 01 什什么是物联⽹网平台 02 为什什么需要反应式架构 03 我们做了了什什么 什什么是物联⽹网平台 什什么是物联⽹网平台 Sensor / Actuator Platform Application Network 物联⽹网平台的构成 Message Hub Device Shadow Rules Engine Developer0 码力 | 18 页 | 1.81 MB | 1 年前3分布式异地多活架构实践之路
讯飞输入法异地多活架构实践之路 凌 军 自我介绍 • 凌军 • 2010年加入科大讯飞 • 讯飞输入法、灵犀语音助手等产品服务端架构负责人 • 科大讯飞消费者BG基础平台架构负责人 产品介绍 • 稳居国内输入法第一阵营 • 2010-10~至今 • 4亿用户 • 1.1亿月活 来自:中国科学院《互联网周刊》 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些挑战 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案 • 实际应用效果 • 后续规划 技术挑战 几十毫秒的延迟; 跨机房性能较慢 机房天然延迟 专线费用高; 专线不稳定 跨机房专线问题 依赖小服务,有一 定改造成本; 依赖外部服务 服务依赖问题 减少对业务开发影响; 需要封装屏蔽细节 业务开发影响 如何精准调度; 如何合理调度 流量调度 存储系统自带同步 不成熟; 自研组件之间同步 分布式日志收集等 写多读少 汇聚模式 (多点写,单点读) 内容统计指标获取、内容榜单等 读写均衡 混合模式 (多点写,单点读, 单点写,多点读) 非核心业务 老版本兼容服务、运营活动、配置、管 理平台、官网、论坛等 N/A 本地模式 (单点读写) 设计思路 核心业务异地多活 精准流量调度 数据同步 多元化 最终一致性 依赖关系优化 配套系统支撑 主 从 多 主 汇 聚 混0 码力 | 36 页 | 1.66 MB | 1 年前3刘道平-从0到1,移动政务应用小程序系统架构演化
二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 目录 1、当前政务移动应用APP发展情况 1、功能单一 大多政务服务APP功能单一,仍以政务信息发布为主,缺乏实用的网上办事和便民服务。 仅有15%的政务APP提供办事服务,存在“信息有余、服务不足”的问题。 2、下载APP成为负担 政务APP盲目开发泛滥,用户为了办事需要下载多个APP,成为一种负担。 1 一次认证、全网通办 2 原生体验、 风格一致 4 实时运营、 即时反馈 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 4、一个特殊的移动政务应用项目 3 资源少:初期团队人员少、 业务推动阻力大 1 时间紧: 1月启动,5月上线 2 目标高:高频便民服务、 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 5、技术路线选型,APP 还是 小程序? 对比项 微信小程序 政务APP 统一身份认证 无需注册直接登录,提供活体检测、人脸核身 需要注册,使用密码和手机盾认证 推广传播 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套,组件丰富 每个端都得开发,标准化组件少0 码力 | 35 页 | 15.60 MB | 1 年前3唯品会调度系统的前世今生
positioned properly. 感谢聆听! 邱戈川 (了哥) 微信公众号: VIPDOCKER 唯品会开源弹性调度系统 Saturn的“前世今生” 黄国钦 (Chembo) 唯品会高级开发工程 师 內容主题 为何而生 瓜熟蒂落 有女初长成 女大须嫁 https://github.com/vipshop/Saturn 婆媳关系 为何而生 传统调度系统的问题、产品的定 位与选型 支持粒度功能较单一或缺乏 没有容器化选型? 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 -- Saturn 开源地址: Github.com/vipshop/Saturn 体系中的定位 服务化框OSP 开发框架Venus 唯品会基础架构体系 消息队列 VMS 全链路监控 Mercury 统一日志平台 dragonfly 任务调度平台 Saturn 统一配置中心 CfgCenter 统一鉴权中心 AuthCenter 服务网关 Janus 安全管理平台 Salus 有女初张成 唯品会弹性调度系统的架构与功 能窥探 域 应用包 作业 执行节点 1 1 * 1 * * 创建 Binding 调度器 物理机0 码力 | 58 页 | 5.40 MB | 1 年前3领域驱动设计&中台/架构分层模型适配
⼈人机交互设计和实现 UX关注的层 DDD分层参考架构 为前端和第三⽅方应⽤用提供API服务,关注服务编排,事务和 分布式等 前端应⽤用 应⽤用服务 业务领域 基础设施 ⼲干系⼈人: 应⽤用开发⼈人员 诉求: 灵活易易使⽤用的API 技术点: 性能,事务,分布式,安全等⾮非功能性需求 API服务 ⼯工作内容: • 接收外部请求并响应: 如HTTP请求, 消息处理理 • 事务管理理 管理理模型复杂度,适度拆分模块 • 实现业务逻辑 业务⼈人员关注的层 业务领域 腐化案例例: 亏空 ⼤大量量技术术语业务⼈人员完全看不不懂 模型: • 应⽤用服务 — 跨Bond Context DTO • 领域服务 — 跨聚合 • 聚合 实体 仓库 事件 DDD分层参考架构 访问外界系统(调⽤用外界系统)的技术相关实现。 前端应⽤用 API服务 业务领域 基础设施 ⼲干系⼈人: architecture framework 前端应⽤用 API服务 领域模型 基础设施 业务领域 如何有效防⽌止架构腐化 架构腐化是系统开发过程中⾮非常头疼的事情。使⽤用DDD分层 架构参考实践,可以在系统初始设计的时候领域明确出来。 但问题是开发过程中不不知不不觉层次模糊,架构师有没有实践 能有效阻⽌止架构腐化? 分层模型适配 如何从⼀一盘散沙到百万雄师 百万雄师的铸造秘密 — 踢正步0 码力 | 39 页 | 2.54 MB | 1 年前3微服务和Service Mesh 在多个行业落地实践
微服务和Service Mesh 在多个行业落地实践 www.163yun.com 阶段一:单体架构群,多个开发组,统一运维组 www.163yun.com 阶段二:组织服务化,架构SOA化,基础设施云化 www.163yun.com 阶段三:组织DevOps化,架构微服务化,基础设施容器化 www.163yun.com Hailo Amazon Netflix 设计要点十:日志中心 www.163yun.com 设计要点十一:全链路监控 www.163yun.com 设计要点十二:全链路压测 www.163yun.com 微服务平台总览 容器平台 (多集群基础设施) Pod & Deployment 网络 Calico, OVS 存储 Ceph 滚动更新 弹性伸缩 日志中心 基础设施监控 开 发 集 群 JVM 监控 数据库 监控 性能 告警 自定义 数据 服务 告警 监控 大屏 账户 审计 CICD (开发流程管理) 代 码 检 出 代 码 编 译 镜 像 构 建 集 成 测 试 自 动 部 署 流水线管理 测试平台 (集成,场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像仓库0 码力 | 39 页 | 3.06 MB | 1 年前3联想-贺钢架构工作在国际化项目中的应用实例
架构工作在国际化项目中 的应用实例 贺钢 2016-12-17 个人简介 • 深信服科技 • 腾讯 • 联想深圳中国开发实验室 前言 • 国际化项目的一些不同点导致架构工作的一些不同 • 应用实例体现这些不同点 广告 • 联想电脑管家(PC): guanjia.lenovo.com.cn 国际化项目的一些不同点 • 目标客户不同: 文化习俗, 客户需求, 用户体验… XA项目背景及需求 • 多设备协作 PC, Mobile, Pad, Cloud… • 跨设备及云智能搜索 • 语音等多种输入方式 用例示意图 用户输入支持举例 3D Camera 项目实例 -- 项目开发团队 项目 备注 项目名称 XA 支持国家 160 多语言支持 27种语言 架构师 5-8人 开发人员 中国,美国,日本,印度 三方合作伙伴 6-7家 系统组件设计 图示 系统整体架构I 2014-02-19 … 3 … 1 Show.ppt 138238 2014-08-09 … 碰到的问题 • 各类文档,程序的属性差别很大 • 采用的敏捷Scrum,任务随Sprint迭代 • 开发测试人员属于不同地域的不同部门,向不同的人汇报 后来使用的方案 ID ... Type … Content 1 … 1 {“File Name”:”1.doc”,”time”:”2014-02-0 码力 | 53 页 | 2.36 MB | 1 年前3降级预案在同程艺龙的工程实践-王俊翔
⽤用,没有统⼀一的管 理理和治理理。久⽽而久之,⽆无⼈人知道系统内有多少降级点,降级是如 何实现的 • 缺乏UI、没有灵活的参数、策略略配置,没有预案制定管理理能⼒力力 业务保障平台建设之路路 业务保障平台建设之路路 服务管理理 策略略管理理 预案制定 线上演练 • 降级服务统⼀一注册管理理,通过降 级服务质量量数据从整体反映各应 ⽤用的降级点和可⽤用性保障措施 • 降级策略略集中管理理,通过参数 Application Application SDK 熔断 降级 流控 隔离 实时策略略推送 数据采集 应⽤用管理理 策略略管理理 流控管理理 预案管理理 指标管理理 监控告警 数据⼤大盘 脚本开发 ETCD管理理 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算(Flink) ⽇日志中⼼心 KAFKA 数据采集、计算、存储 降级 条件 计算 降级消息 数据 存储 实时告警 规则配置 开发 ⽇日志解析规则 控制中⼼心 ETCD 降级服务 降级处理理 流处理理集群(Flink) HBase ES Redis 落地存储 数据服务 数据平台 实时告警 告警策略略 指标查询 指标脚本开发 指标配置 产品化 开发 复合指标计算如何处理理 ServiceA ServiceB ServiceC0 码力 | 26 页 | 18.67 MB | 1 年前3
共 32 条
- 1
- 2
- 3
- 4