大规模高性能区块链架构设计模式与测试框架-李世敬大规模高性能区块链架构 设计模式与测试框架 Gopher Meetup 深圳站 2021 年 8 ⽉ 21 号 趣�科技 李世敬 目录 区块链概述 01 大规模高性能区块链架构设计介绍 02 基于Go插件的区块链性能测试工具 03 写在最后 04 区块链概述 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 4 趣链科技 版权所有 ©2016-2021 共识全节点层 Consensus Layer ⾮共识节点层 Provable Layer 轻客户端层 Edge Layer 轻节点层 Gateway Layer 核⼼技术 多类型节点分层部署模式 1 3 动态⾃发现⽹络转发模型 2 ⼤规模组⽹⾼效共识算法 1.提⾼数据处理效率 2.提升终端异构性能⼒ 3.提供实时计算与验证服务 4.解决数据真实性“第⼀公⾥” 问题 ⾯向海量节点⼤规模应⽤场景,0 码力 | 39 页 | 56.58 MB | 1 年前3
2.2 龚浩华(月牙寂)p2p缓存系统 基于Golang的Aop设计模式LOGO p2p缓存系统 基于Golang的Aop设计模式 龚浩华 QQ 29185807 月牙寂 背景 v Web缓存(类似CDN技术) § 网页、图片 § 普通下载 § 普通视频 v P2P缓存 § 下载(bt等) § 视频(qvod、百度影音等) 背景 v P2P缓存好处 § 一次获取,多次利用 § 减少局域网出网流量 1、针对 缺乏全局状态知识 全局状态是可以获取到的 2、针对 缺乏全局时间 全局时间是一致的 3、非确定 仍然存在不确定性 现实世界的设计模式直接可以拿来借鉴 P2P缓存框架 P2P缓存框架 1、入口监听模块 常驻 功能监听识别连接 2、任务管理模块 常驻 1、全局收集任务,根据任务连接数排名,在 前n的任务给分发下载时间片。 2、任务定时更新自己的时间片 效果 效果 Golang总结 1、全新的设计模式 代码少、逻辑直观简单 2、代码维护简单 松散耦合 3、快速开发 4、性能高 Golang一些经验 1、程序雪崩与GC问题0 码力 | 29 页 | 338.20 KB | 1 年前3
《深入浅出MFC》2/eScribble 列印機制的補強 / 685 印表機的頁和文件的頁 / 685 配置 GDI 繪圖工具 / 687 尺寸與方向:關於映像模式(座標系統) / 688 分頁 / 693 表頭(Header)與表尾(Footer)/ 695 動態計算頁碼 / 696 窗口乙并不会实时修正内容,必须等WM_PAINT 产生(例如拉大窗口)。 这个版本已具备打印与预视能力,但并非「所见即所得」(What You See Is What You Get),打印结果明显缩小,这是因为映射模式采用MM_TEXT。15寸监视器的 640 个图素换到300dpi 上才不过两英寸多一点。 我们可以在这个版本中学习以AppWizard 制作骨干,并大量运用ClassWizard 为我 们增 。现在要加强的是更细致的打印能力,包括表 ■ ■ ■ 深入淺出 MFC 38 头、表尾、页码、映射模式等等。坐标系统(也就是映射模式,Mapping Mode) 的选择,关系到是否能够「所见即所得」。为了这个目的,必须使用能够反应 真实世界之尺寸(如英寸、公分)的映像模式,本例使用 MM_LOENGLISH, 每个逻辑单位0.01 英寸。 我们也在此版中学习如何设定文件的大小。有了大小,才能够在打印时做分页动作。0 码力 | 1009 页 | 11.08 MB | 1 年前3
跟我学Shiro - 张开涛匹配[urls]部分的某个 url 模式,将会执行其配置的拦截器。比如 anon 拦截器表示匿名访问(即不需要登录即可访问);authc 拦截器表示需要身份认证通过后才 能访问;roles[admin]拦截器表示需要有 admin 角色授权才能访问;而 perms["user:create"] 拦截器表示需要有“user:create”权限才能访问。 url 模式使用 Ant 风格模式 Ant 路径通配符支持 配/admin/1; **:匹配路径中的零个或多个路径,如/admin/**将匹配/admin/a 或/admin/a/b。 url 模式匹配顺序 url 模式匹配顺序是按照在配置中的声明顺序匹配,即从头开始使用第一个匹配的 url 模式 对应的拦截器链。如: [main] #默认是/login.jsp authc.loginUrl=/login roles.u lver,其根据[urls]中配置的 url 模式(默认 Ant 风格)=拦截器 链和请求的 url 是否匹配来解析得到配置的拦截器链的;而 PathMatchingFilterChainResolver 内部通过 FilterChainManager 维护着拦截器链,比如 DefaultFilterChainManager 实现维护着 url 模式与拦截器链的关系。因此我们可以通过 FilterChainManager0 码力 | 219 页 | 4.16 MB | 10 月前3
Nacos架构&原理
Spring-cloud-alibaba 生态进行推广,建立阿里 DNS(Dubbo+Nacos+Spring- cloud-alibaba/Seata/Sentinel)微服务最佳实践。 随着我们选择三合⼀的开源模式,又面临另外⼀个问题,未来内部和商业化关系是什么,代码关系 是什么? 这个问题应该说⼀直持续,但是我们定下来开源、自研、商业化三位⼀体的战略,以开源为内核, 以商业化为扩展;开源做生态,商业化 HTTP 接口,简单易用,方便多语言集成。 Console:易用控制台,做服务管理、配置管理等操作。 SDK:多语言 SDK,目前几乎支持所有主流编程语言。 Agent:Sidecar 模式运行,通过标准 DNS 协议与业务解耦。 CLI:命令行对产品进行轻量化管理,像 git ⼀样好用。 业务层 服务管理:实现服务 CRUD,域名 CRUD,服务健康状态检查,服务权重管理等功能。 日志模块:管理日志分类,日志级别,日志可移植性(尤其避免冲突),日志格式,异常码+帮 助文档。 回调机制:SDK 通知数据,通过统⼀的模式回调用户处理。接口和数据结构需要具备可扩展性。 寻址模式:解决 Server IP 直连,域名访问,Nameserver 寻址、广播等多种寻址模式,需要可 扩展。 推送通道:解决 Server 与存储、Server 间、Server 与 SDK 间高效通信问题。0 码力 | 326 页 | 12.83 MB | 9 月前3
海尔实时计算平台技术选型与实践业务系统无法配合修改,怎么办? CDC的几种方法: • 触发器 • 时间戳 • 全表比对 • 日志对比 Change Data Capture(CDC) Oracle CDC建议方案-OGG OGG监控 OGG监控可选方案: • GoldenGate Director • GoldenGate Monitor • Yelp MySQLStreamer Mysql CDC建议方案 Mysql Mysql CDC可选方案: • Canal Postgresql CDC 建议方案 BottledWater: • 支持postgresql 9.4及以后版本 • 几乎不影响数据库本身性能 • 事务一致性的输出 • 容错 上图摘自confluent官网 Flume适合: • 日志收集 • 日志传输 • 拦截数据 消息队列适合: • 消息持久化 • 解耦 推荐:Flume+0 码力 | 41 页 | 3.21 MB | 1 年前3
美团点评2018技术年货UAS-点评侧用户行为检索系统 - 美团技术团队 UAS-点评侧用户行为检索系统 UAS-点评侧用户行为检索系统 作者: 朱凯 背景 背景 随着整个中国互联网下半场的到来,用户红利所剩无几,原来粗放式的发展模式已经行不通,企业的发展 越来越趋向于精耕细作。美团的价值观提倡以客户为中心,面对海量的用户行为数据,如何利用好这些数 据,并通过技术手段发挥出数据的价值,提高用户的使用体验,是我们技术团队未来工作的重点。 询,影响业务线上的正常服务。 由于Hive本身的语法不支持更新、删除等SQL原语,对于MySQL中发生Update/Delete的数据无法很好地进行支持。 为了彻底解决这些问题,我们逐步转向CDC (Change Data Capture) + Merge的技术方案,即实时 Binlog采集 + 离线处理Binlog还原业务数据这样一套解决方案。Binlog是MySQL的二进制日志,记录了 可以达到数十倍之 多。 境外业务性能优化实践 - 美团技术团队 关于性能优化这个主题,美团技术团队博客之前也发表过不少系统阐述的文章,比如 《常见性能优化策 略的总结》 和 《性能优化模式》 ,可以参考。 境外业务的特点 境外业务的特点 美团旅行境外业务主要包含商户信息、用户评论、特色美食、出境线路、境外当地玩乐、购物优惠券等6 大板块,满足用户行前到行中的出境场景。在覆盖0 码力 | 229 页 | 61.61 MB | 1 年前3
2020美团技术年货 算法篇[22],除了英文网页,Google 也正在 基于 BERT 优化其他语言的搜索结果。值得一提的是美团 AI 平台搜索与 NLP 部在 算法 < 39 WSDM Cup 2020 检索排序评测任务中提出了基于 Pairwise 模式的 BERT 排序模 型和基于 LightGBM 的排序模型,取得了榜单第一名的成绩 [23]。 搜索相关性 美团搜索场景下相关性任务定义如下:给定用户 Query 和候选 Doc(通常为商户或商 独自建设自己的机器学习工具集,按照各自业务的特殊需求进行各自迭代,快速支持 机器学习算法上线落地应用到具体的业务场景,也就是我们所熟知的“烟囱模式”。 此种模式各自为战,非常灵活,能够快速支持业务的个性化需求,为业务抢占市场赢 得了先机。但随着业务规模的逐渐扩大,这种“烟囱模式”的缺点就凸显了出来,主 要表现在以下两个方面: 80 > 美团 2020 技术年货 ● 重复造轮子:特征工程、模型训练、模型在线预测都是各自研发,从零做起, Loss 损失函数。 82 > 美团 2020 技术年货 3)模型评估阶段,支持多种评估指标,如 AUC、MSE、MAE、F1 等。 4)模型发布阶段,提供一键部署功能,支持本地和远程两种模式,分别对应将模型 部署在业务服务本地和部署在专用的在线预测集群。 5)在线预测阶段,支持 AB 实验,灵活的灰度发布放量,并通过统一埋点日志实现 AB 实验效果评估。 3.1 离线训练平台0 码力 | 317 页 | 16.57 MB | 1 年前3
Conan 2.1 DocumentationComputing necessary packages ---------- Requirements zlib/1.2.11#f1fadf0d3b196dc0332750354ad8ab7b:cdc9a35e010a17fc90bb845108cf86cfcbce64bf ˓→#dd7bf2a1ab4eb5d1943598c09b616121 - Download (conancenter) packages ---------- Installing (downloading, building) binaries... zlib/1.2.11: Retrieving package cdc9a35e010a17fc90bb845108cf86cfcbce64bf from remote ˓→'conancenter' Downloading conanmanifest.txt (continues conaninfo.txt Downloading conan_package.tgz Decompressing conan_package.tgz zlib/1.2.11: Package installed cdc9a35e010a17fc90bb845108cf86cfcbce64bf zlib/1.2.11: Downloaded package revision dd7bf2a1ab4eb5d1943598c09b6161210 码力 | 694 页 | 4.13 MB | 1 年前3
Conan 2.3 DocumentationComputing necessary packages ---------- Requirements zlib/1.2.11#f1fadf0d3b196dc0332750354ad8ab7b:cdc9a35e010a17fc90bb845108cf86cfcbce64bf ˓→#dd7bf2a1ab4eb5d1943598c09b616121 - Download (conancenter) packages ---------- Installing (downloading, building) binaries... zlib/1.2.11: Retrieving package cdc9a35e010a17fc90bb845108cf86cfcbce64bf from remote ˓→'conancenter' Downloading conanmanifest.txt (continues conaninfo.txt Downloading conan_package.tgz Decompressing conan_package.tgz zlib/1.2.11: Package installed cdc9a35e010a17fc90bb845108cf86cfcbce64bf zlib/1.2.11: Downloaded package revision dd7bf2a1ab4eb5d1943598c09b6161210 码力 | 748 页 | 4.65 MB | 1 年前3
共 401 条
- 1
- 2
- 3
- 4
- 5
- 6
- 41













