海尔实时计算平台技术选型与实践海尔实时计算平台技术选型与实践 海尔电器-肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景-海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 代码埋点: • 优点:采集能力强 • 缺点:时间、人力成本大 实时数据采集-数据如何获取? 可视化埋点: • 优点:成本低,速度快 • 缺点:行为记录信息少,支持的分析方式少 • Flume 日志收集可选技术 • Fluentd • Logstash • Scribe0 码力 | 41 页 | 3.21 MB | 1 年前3
ServiceComb 开源微服务框架技术演进之路 巨震ServiceComb 开源微服务框架技术演进之路 巨震 软件工程师,华为 • 服务形态演进 • 基于SDK的传统微服务框架 • 何为Service Mesh • 演进:从SDK到Service Mesh • 拥抱Service Mesh开源生态 • 相关资源 #微服务 #Service Mesh #Sidecar #云原生 #SDK #数据面,控制面 chain接入不同生态,不依赖Mixer Istio Pilot Proxy SDK Discovery Config xDS API Server 控制面接口层 拥抱Cloud Native技术 • sidecar-injector 满足条件: • Kubernetes 1.9 or later • MutatingAdmissionWebhook开启 • Namespace0 码力 | 20 页 | 861.58 KB | 1 年前3
《58到家技术架构快速规划与落地》 - 沈剑58集团技术专场 技术架构快速规划与落地 沈剑 58集团技术专场 关于 我 � “架构师之路”作者 � 高级工程师 � 技术委员会主席、高级架构师、技术学院优秀讲师 � 技术委员会主席、技术总监 � 本质:程序员 58集团技术专场 目录-技术架构体系建设 问题 实践 总结 1. 服务化 2. 监控平台 3. 调用链跟踪 4. 服务治理 58集团技术专场 一、初创公司技术架构体系建设 一、初创公司技术架构体系建设 常见问题 58集团技术专场 初创公司技术体系常见问题 体系割裂 系统耦合 DB耦合 出问题不知道 查问题麻烦 定位问题周期长 一团麻 没人 58集团技术专场 二、 技术体系快速规划与 落地实践 58集团技术专场 1. 服务化-服务化之前高可用架构 � 服务化前系统架构 (1)端 (2)反向代理 (3)应用 (4)数据 58集团技术专场 1. 服务化-问题:代码拷贝 服务化-问题:代码拷贝 58集团技术专场 1. 服务化-问题:复杂性扩散 58集团技术专场 1. 服务化-问题:库耦合 58集团技术专场 1. 服务化-问题:DB耦合 58集团技术专场 1. 服务化-问题:SQL质量无保障 58集团技术专场 1. 服务化-解决方案:服务化 58集团技术专场 1. 服务化-58到家最佳实践 � 统一服务框架(D-SF) � 统一数据访问层(D-Dao)0 码力 | 42 页 | 1.52 MB | 1 年前3
全球架构师峰会深圳2015/研发体系构建_龚银_中型创业公司的技术管理之痛ArchSummit 全球架构师峰会 深圳站 2015 中型创业公司的 技术管理之痛 By 龚银 何谓「中型创业公司」 创业 公司 中型 创业公司 成熟 公司 自我介绍 从事过传统IT、搞过硬件、短暂创业、玩过互联网、...... 金蝶 比格邦 天猫 一加 12 • 传统IT • ERP • 广电行业 • 硬件 • 15Q1 15Q2 部门人数 系统数量 应用数量 一些「实践」到的经验 技术架构简单胜于复杂,量体裁衣 架构简单化 合并、解耦、清晰化 照搬行业实践不一定合适 层次简单化 缩减层次,效率优先 混合语言,效率低下 研发体系和流程 研发体系框架搭建 人解决一切 技术简单化 不要追求炫酷,简单实用即可,根据团队成员能力量体裁衣 先跑起来,然后找合适时间进行优化,合适的平衡 重视规划和系统思维的作用,根据现状随时调整轻重缓急 充分的沟通机制和反馈机制,让大家都能有一致的理解 聚焦与系统思维 技术和管理比重随时调整和平衡 技术、业务和管理的平衡 技术管理者大多对技术热衷,对管理忽视 技术、业务、系统花费精力和时间太多,团队管理精力太少 平衡 时间的分配:轻重缓急,适度授权 根据团队规模和业务情况,选择合适自己的占比0 码力 | 36 页 | 2.49 MB | 1 年前3
刘道平-从0到1,移动政务应用小程序系统架构演化180426_158502.htm 2、政务服务微信公众号的现状 优势: 1.各省市政务提供的政务服务公众号,方便了用户查询、办理政务业务 服务。 2.用户无需额外下载安装,即可使用微信公众号进入政务服务。 问题: 1.各厅局委办的公众号之间不能实现账号互信,用户需要记住不同业务 系统的账号密码才能访问。 2.公众号采用H5技术,用户办理过程因加载时间长,导致用户体验不 佳。 五、政务服务系统架构小结与思考 5、技术路线选型,APP 还是 小程序? 对比项 微信小程序 政务APP 统一身份认证 无需注册直接登录,提供活体检测、人脸核身 需要注册,使用密码和手机盾认证 推广传播 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套,组件丰富 每个端都得开发,标准化组件少 版本更新 无感知,轻量级更新 更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 微信自带组件,对接更容易 需根据场景单独对接,如人脸识别、支付等 产品自主性 需依托微信平台 完全自主可控 数据安全性 微信前端数据通过HTTPS传输 全业务流程数据传输监控 使用路径 微信端二级应用 一级入口 从技术的角度来比对,小程序和APP各具优势:小程序具备轻量级、跨平台、成本低、功能强和易传播的特征;0 码力 | 35 页 | 15.60 MB | 1 年前3
QCon北京2018-业务高速发展下的互联网金融系统架构演变-张现双+业务高速发展下的 互联网金融系统架构演变 演讲者/张现双� 自我介绍 张现双,宜人贷研发架构师,移动后台负责人,负责 移动后台的技术研发和系统架构设计,并随着业务增长持续 不断的进行性能优化和系统架构升级。 从事过研发、运维、dba等工作,在应对互联网系统流 量、并发、安全、一致性问题等方面有一些经验。 翻译出版专著:《可伸缩架构:面向增长应用的高可用》 用户和业务持续上量,业务快速发展 扩张阶段 业务和团队规模增长迅速,多元化发展,对效率和质量提出更高要求 没有一种� 架构能� 包打天下 DB Server PC WEB 容错性、稳定性差 技术债迅速积累 代码安全带来挑战 初始,� 效率优先 成长,移动后台旁路追赶 DB主 Server PC WEB AND/IOS/H5/Open 静态站 网贷服务 借款流程 Cache集群 保险 基金 商城 财富圈 健康财富 加密 验签 拦截 校验 安全 性能 并发 幂等 交易 缓存 基础服务 消息 监控 配置 报警 MIS OpenAPI 微信 财富圈 移动后台 商城MIS WAP … … Android/ios/h5/php/openApi 积分系统 基础服务 优惠券 宜人币 基金服务 保险服务 网贷服务 支付中心0 码力 | 42 页 | 19.96 MB | 1 年前3
声明式自愈系统——高可用分布式系统的设计之道-王昕王昕 高级技术专家 声明式自愈系统——高可用分布式 系统的设计之道 王昕 高级技术专家 自我介绍 王昕,阿里中间件技术团队高级技术专家,阿里云开放云平台布道师。具有10多年软件 系统开发和架构经验,在分布式系统领域经验丰富,长期参与高可用中间件系统、云平 台基础管理系统和云原生自动运维系统的构建。在国内外有10多项授权和在审软件技术 发明专利,并多次受邀出席技术会议,做技术专题分享。 Ø 定义正常的默认配置,满足读取不到配置的正 常运行 Ø 支持可扩展的配置命令格式 Ø 尽量支持更改配置不需要重启服务 Ø 注意配置项之间的关联性 欢迎与我交流 王昕个人微信 欢迎与我交流 王昕个人微信0 码力 | 44 页 | 2.47 MB | 1 年前3
唯品会调度系统的前世今生typing format on the (Your Company). letterhead design. When positioned properly. 感谢聆听! 邱戈川 (了哥) 微信公众号: VIPDOCKER 唯品会开源弹性调度系统 Saturn的“前世今生” 黄国钦 (Chembo) 唯品会高级开发工程 师 內容主题 为何而生 瓜熟蒂落 有女初长成 女大须嫁 图片扫描(侵权),格式/大小转换 女大须嫁 弹性调度系统开源版本 开源的目的 利用社区的力量,提升 产品的稳定性、可靠性, 进而降低产品的开发、 维护等成本 减少维护成本 增强公司在技术领域的 品牌影响力,吸引更优 秀人才加入 提升技术品牌 目前已经开源的类似功 能的产品的功能性、实 用性、规模性都比 Saturn有很大差距 填补开源业界空白 内外代码管理策略 VIP Console (Venus体系集成)0 码力 | 58 页 | 5.40 MB | 1 年前3
领域驱动设计&中台/演进式架构的平台化落地力力。近两 年年来,研究的重点放在数字化业务管理理的组织治理理与 动态投资组合管理理,最⼤大化投资成效。 2016年年翻译出版了了著作《精益企业》。 演进式架构 让架构可以快速跟上业务发展与技术⽣生 态变化,并保持稳定 变化 tech ecosystem business ux everything changes all the time! 当事物在以不不可预期 的⽅方式持续改变时, component component component component component component component component component 分层单例例架构 微内核与插件架构 std std std std std std 事件驱动架构 Broker Meditator 微服务架构 checkout module module database0 码力 | 42 页 | 2.95 MB | 1 年前3
降级预案在同程艺龙的工程实践-王俊翔降级预案在同程艺⻰龙的⼯工程实践 演讲者 / 王俊翔 同程艺龙 ⾃自我介绍 搜索故障 微信⼩小程序 API⽹网关 资源1 搜索引擎 统⼀一资源⽹网关 资源2 资源3 资源4 …… 资源4 ⼤大量量超时 统⼀一资源⽹网关 搜索引擎 API⽹网关 ⼤大量量请求超时 缺乏熔断设计 交易易故障 第三⽅方⽀支付 ⽀支付中⼼心 ⽀支付回写 消息队列列 ⽀支付通知 交易易中台 serviceC serviceC- degrade 弱依赖 强依赖 强依赖 备选服务 熔断、限流 降级 业界解决⽅方案 - HYSTRIX Netflix开源的一款容错框架,支持多种降级熔断技术 资源隔离 断路路器器 降级操作 请求合并 请求缓存 实践过程中遇到的问题 • 业务改造成本⾼高,代码耦合,维护成本增⾼高 • 固化策略略,需线下修改代码,测试,发布,线上应急策略略响应不不0 码力 | 26 页 | 18.67 MB | 1 年前3
共 29 条
- 1
- 2
- 3













