Java Chassis通信处理详解 - 通信优化实践Java Chassis通信处理详解 通信优化实践 议题 问题不挑战 整体线程模型 Consumer Producer 问题不挑战 消费者 编程 模型 透明 RPC Spring MVC Transport Highway Vertx REST Servlet REST 生产者 编程 模型 透明 丌同开发人员熟悉丌同的编程模型 3. RPC、REST的治理如何迚行 4. REST性能低 5. Reactive还是同步 ServiceComb的同步 仅仅是指编程模型上的同步,跟网络通信无关 因为所有场景下网络操作都是异步的 •Producer •Consumer 整体线程模型 Producer Consumer Eventloop 连接0 码力 | 17 页 | 2.22 MB | 1 年前3
高性能高可用机票实时搜索系统⾼性能⾼可⽤机票实时搜索系统 去哪⼉⺴ 梁启康 议题 系统诉求 海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 • 航线搜索+航班搜索:3k+qps • 每秒计算产品数:搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + 设计思路路 • 最理理想的⽅方式 • 所有的报价都实时计算,填充好 • ⼀一个巨⼤大的哈希表 • 响应所有渠道价格变动进⾏行行计算 • 快 • 0 变价 设计思路路 CAP BASE 理理论 按需计算 消息驱动 异步 分布式 分级缓存 • 缩短对象驻留留内存时间,减少gc次数,优化单机吞吐 • 数据交换采⽤用protobuf + gzip处理理 • jit、预热 回顾 • ⽔水平分层,纵向分渠道,良好的扩展性 • 实时计算 + 阶梯式缓存,成本与报价新鲜度的权衡 • 闭环系统 • 索引库数据同步 • 本地缓存的设计,更更新策略略 • 缩减对象内存 • ⼀一致性哈希负载均衡 ⼼心得 • 不不同的业务场景,不不同的特征0 码力 | 26 页 | 1.94 MB | 1 年前3
海尔实时计算平台技术选型与实践海尔实时计算平台技术选型与实践 海尔电器-肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景-海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm Flink Ganglia Sqoop zeppelin Saiku Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 代码埋点: • 优点:采集能力强 • 缺点:时间、人力成本大 实时数据采集-数据如何获取? 可视化埋点: • 优点:成本低,速度快 • 缺点:行为记录信息少,支持的分析方式少 • Flume0 码力 | 41 页 | 3.21 MB | 1 年前3
支持10万TPS的高性能服务间通信解读servicecomb.apache.org github.com/apache?q=servicecomb 支持10万TPS的高性能服务间通信解读 刘宝 2 github.com/apache?q=servicecomb servicecomb.apache.org 刘宝,华为微服务开发专家,Apache ServiceComb Committer。 拥有10年以 上java开发框架的开发和运维经验。热爱微0 码力 | 7 页 | 1.58 MB | 1 年前3
Rust HTTP 协议栈在终端通信场景的实践 - 胡凯HTTP 协议栈在终端通信场景的实践 胡凯 hukai45@huawei.com 华为 公共开发部 嵌入式软件能力中心 什么是 HTTP 协议? ⚫ HTTP 协议介绍 目录 终端场景下 HTTP 协议的主要使用场景,以及需要思考的问题。 ⚫ 终端 HTTP 通信场景浅析 我们当前结合 Rust 和终端通信场景的实践的简单介绍。 ⚫ Rust 与终端 HTTP 通信场景结合 介绍 Rust 协议介绍 HTTP 协议主要具有以下特点: ✓ 支持客户/服务器模式。 ✓ 简单快速:客户向服务器请求服务时,只需传送 请求方法、路径和请求头。HTTP 协议简单、HTTP 服务器的程序规模小,因而通信速度很快。 ✓ 灵活:HTTP 支持传输任意类型的数据对象。 ✓ 无连接:HTTP 限制每次连接只处理一个请求,节 省传输时间。(在 HTTP/1.1 之后变更) ✓ 无状态:HTTP 协议对于事务处理没有记忆能力, = HTTP 协议 + TLS 超文本传输安全协议(英语:HyperText Transfer Protocol Secure,缩写:HTTPS)是一种通过计算 机网络进行安全通信的传输协议。HTTPS经由HTTP进行通信,但利用SSL/TLS来加密数据包。 Rust 与 HTTP 协议 Part 02 介绍 Rust 与 HTTP 协议栈结合的业界实现 Rust China Conf 20220 码力 | 26 页 | 1.25 MB | 1 年前3
Nacos架构&原理
Nacos 总体设计 17 Nacos 架构 17 Nacos 配置模型 21 Nacos 内核设计 28 Nacos ⼀致性协议 28 Nacos 自研 Distro 协议 38 Nacos 通信通道 42 Nacos 寻址机制 56 Nacos 服务发现模块 63 Nacos 注册中心的设计原理 63 Nacos 注册中心服务数据模型 80 Nacos 健康检查机制 89 Nacos 步演化成 3 个产品的,因此我们最终决定将内部三个 产品合并统⼀开源。定位为:⼀个更易于构建云原生应用的动态服务发现、配置管理和服务管理平 台。由于我们在阿里内部发展了 10 年,在易用、规模、实时、稳定沉淀了核心竞争力,围绕阿里 Dubbo 和 Spring-cloud-alibaba 生态进行推广,建立阿里 DNS(Dubbo+Nacos+Spring- cloud-alibaba/S restfulAPI,易用的控制台,丰富的使用文档。 稳定:99.9% 高可用,脱胎于历经阿里巴巴 10 年生产验证的内部产品,支持具有数百万服务的大 规模场景,具备企业级 SLA 的开源产品。 实时:数据变更毫秒级推送生效;1w 级,SLA 承诺 1w 实例上下线 1s,99.9% 推送完成;10w 级,SLA 承诺 1w 实例上下线 3s,99.9% 推送完成;100w 级别,SLA 承诺0 码力 | 326 页 | 12.83 MB | 10 月前3
2022年美团技术年货 合辑深入理解函数式编程(上) 512 深入理解函数式编程(下) 541 Android 对 so 体积优化的探索与实践 568 从 0 到 1:美团端侧 CDN 容灾解决方案 589 美团高性能终端实时日志系统建设实践 608 后端 622 可视化全链路日志追踪 622 设计模式二三事 647 基于代价的慢查询优化建议 670 Java 系列 | 远程热部署在美团的落地实践 692 从多领域优化到 AutoML 框架 作者:胡可 1. 背景与简介 反馈快速、竞争激烈的算法比赛是算法从业者提升技术水平的重要方式。从若干行业 核心问题中抽象出的算法比赛题目具有很强的实际意义,而比赛的实时积分榜促使参加 者不断改进,以试图超越当前的最佳实践,而且获胜方案对于工业界与学术界也有很强 的推动作用,例如 KDD Cup 比赛产出的 Field-Aware Factorization Machine(FFM) 模型训练的性能瓶颈之一。我们发现在某些业务图中,子图采样的 耗时甚至占训练整体的 80% 以上。我们分别针对静态图和动态图,设计实现了多种 高效的邻居节点采样算法。主要的优化手段包括: ● 随机数发生器:相比于通信加密等应用,图上的采样对于随机数发生器的“随 机性”并没有苛刻的要求。我们适当放松了对随机性的要求,设计实现了更快 速的随机数发生器,可以直接应用在有放回和无放回的采样操作中。 ● 概率量0 码力 | 1356 页 | 45.90 MB | 1 年前3
美团点评2018技术年货....... 境外业务性能优化实践 91 ...................................................................... 美团广告实时索引的设计与实现 106 ...................................................................... 大众点评账号业务高可用进阶之路 设计一套整体的流程管理机制,解决运营的投放、审核、发布和回滚的问题。通过流程化的机制,我们实 现了“事前”、“事中”、“事后”的三级管理。 首先,在运营配置上线前,通过测试用户的预览功能,可以预览上线后的实时效果。同时,通过穿越功能 可查看将来时段显示的效果。防止出现上线后链接出错、视觉效果达不到预期等问题。 其次,在流程阶段,引入审核机制,通过视觉和内容两方面的审核,保证投放数据的准确性。 最后 台进行再次编辑)。 为了能平稳上线,我们设计了一个测试预览功能。当数据处于流程中时,用户可以通过扫描二维码加入到 测试用户名单,可对处于审核流程中的数据进行预览,用美团、大众点评App查看上线后实时效果,其实 现的数据流如下: 七、稳定性的演进 七、稳定性的演进 稳定性是一个运营配置平台最重要的能力,没有稳定性,其他任何功能都会失去实际意义。运营系统的稳 定性经历了不同的迭代时期,总结起来,可概括为以下三个阶段:0 码力 | 229 页 | 61.61 MB | 1 年前3
FISCO BCOS 1.3 中文文档num=0time:1533887334119 使用指南 区块链节点 证书说明 合约入门 系统合约 基本操作 控制台 区块链节点 节点是区块链上的执行单元。多个节点彼此连接,构成一个P2P网络,承载了 区块链上的通信,计算和存储。节点入网后(加入联盟),成为区块链上的一 个共识单位。多个节点参与共识,确保了区块链上交易的一致。 节点文件目录、分类 FISCO-BCOS的节点包含了下列必要的文件。此处不列举节点在运行时生成的 与该链的机构签发机构证书,机构证书私钥由机构管理员持有,并对机构下属 节点签发节点证书。节点证书是节点身份的凭证,并使用该证书与其他节点间 建立SSL连接进行加密通讯。sdk证书是sdk与节点通信的凭证,机构生成sdk证 书,允许sdk与节点进行通信。 因此,需要生成链证书、机构证书、节点证书,sdk证书。文件后缀介绍如 下: 后缀 说明 .key 私钥 .srl 文件存储序列号 .csr 证书请求文件 .crt 数字证书就是区块链网络中标志通讯各方身份信息的一串数字,提供了一种在 网络上验证通信实体身份的方式,数字证书不是数字身份证,而是身份认证机 构盖在数字身份证上的一个章或印(或者说加在数字身份证上的一个签名)。 FISCO-BCOS网络采用证书机制,对节点的准入进行管理,从而保证整个网络 有效,可靠,安全地进行通信。 合约入门 本文作为基础,供读者初步理解智能合约的编写、部署和调用。若需要开发应0 码力 | 491 页 | 5.72 MB | 1 年前3
PyWebIO v1.3.1 使用手册PyWebIO 1.1 What’s new in PyWebIO 1.0 What’s new in PyWebIO 0.3 What’s new in PyWebIO 0.2 实现文档 服务器-客户端通信协议 Command Event Indices and tables 索引 模块索引 搜索页面 Discussion and support Need help when use PyWebIO 中调用输入函数时,需 务必提供 name 参数。 输出 输出函数都定义在 pywebio.output 模块中,可以使用 from pywebio.output import * 引入。 调用输出函数后,内容会实时输出到浏览器,在应用的生命周期内,可以在任 意时刻调用输出函数。 基本输出 PyWebIO提供了一系列函数来输出表格、链接等格式: data = input_group("Basic info" 支持上下文管理器的完整函数清单请见 输出函数列表 事件回调 从上面可以看出,PyWebIO把交互分成了输入和输出两部分:输入函数为阻塞 式调用,会在用户浏览器上显示一个表单,在用户提交表单之前输入函数将不 会返回;输出函数将内容实时输出至浏览器。这种交互方式和控制台程序是一 致的,因此PyWebIO应用非常适合使用控制台程序的编写逻辑来进行开发。 此外,PyWebIO还支持事件回调:PyWebIO允许你输出一些控件并绑定回调函0 码力 | 132 页 | 7.45 MB | 1 年前3
共 371 条
- 1
- 2
- 3
- 4
- 5
- 6
- 38













