Doris的数据导入机制以及原子性保证- 流式导入单节点100MB/s,小批量导入毫秒延迟 ## 扩展性强 架构优雅,单集群可水平扩展至200台以上 ▶ ## 高可用 数据、元数据高可用,线上稳定服务6年 机器故障副本自动迁移 ## 整体架构简单,产品易用 • 高度兼容MySQL协议 • 主从架构,不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 • 任何节点都可线性扩展 At-Most-Once语义 源  操作1 重试成功 操作2 额外重试 处理两次  ## 03 等待回收任务删除已写入数据  ## 总结 多版本机制解决读写冲突 • 写入带版本 · 查询带版本 两阶段导入保证多表原子生效 - 支持并行导入 - 有冲突时按导入顺序生效,无冲突导入时并行生效 事务能力保证  决定对象是否是垃圾对象,并进行 回收。 学 垃圾回收机制的特点 * 垃圾内存并不是用完了马上就被释放,所以会产生内存释放 不及时的现象,从而降低内存的使用效率。 有归程 序庞大的 时候,这种现象更为明显。0 码力 | 44 页 | 818.30 KB | 2 年前3
2.4 基于Go-Ethereum构建DPOS机制下的区块链基于Go-Ethereum构建DPOS机制下的区块链 恺英网络一朱崇文 ’ alt=‘OCR图片’/> 目录 1 Go版本以太坊 2 为何选择DPOS机制 3 拓展共识改造实战 4 智能合约的实践 5 压力测试下暴露的问题 GopherChina2018 ’ alt=‘OCR图片’/> Go版本以太坊 ’ alt=‘OCR图片’/> Go版本以太坊 以太坊的工具组 ’ alt=‘OCR图片’/> GopherChina2018 ’ alt=‘OCR图片’/> 为何选择DPOS机制 共识机制对比 POW • 消耗计算力 • 出块速度慢,确认慢 • TPS极低 10~20 • 确认1分钟+ DPOS • 代理人模式 • 出块速度快,确认快 • TPS 700~1000 (实现) • 平均确认1~3秒 ’ alt=‘OCR图片’/> 为何选择DPOS机制 DPOS机制的优势 系统可靠性 在商业场景下,网络性能可控 the local miner’s GopherChina2018 ’ alt=‘OCR图片’/> 拓展共识改造实战 借鉴Clique(POA)的实现 Clique Go-Ethereum实现的机制,用以公共测试链 整个网络由Signer节点出块 Signer节点可以投票选择其他Signer节点 节点之间可以相互竞争出块 存活节点数 > (n/2) +1 Signer 节点的选举记录在Extra0 码力 | 34 页 | 2.01 MB | 1 月前3
TiDB 2.1.70 码力 | 9 页 | 141.29 KB | 1 年前3
多云管下的自动化运维架构-刘宇## 多云管下的自动化运维架构 刘宇 Bespin 高级研发总监 ## TGO鲲鹏会 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 为 Python Function 自动生成 Web UI 彭未康 ## Touch-Callable The web framework for less serious application. (venv3.6)$ pip install0 码力 | 11 页 | 791.38 KB | 2 年前3
MoonBit月兔编程语言 现代编程思想 第十二课 案例:自动微分现代编程思想 案例:自动微分 Hongbo Zhang ## 微分 • 微分被应用于机器学习领域 ◦ 利用梯度下降求局部极值 牛顿迭代法求函数解: $ x^{3}-10x^{2}+x+1=0 $ • 我们今天研究简单的函数组合 ○ 例: $ f(x_{0},x_{1})=5x_{0}^{2}+x_{1} $ ■ $ f(10,100)=600 $ ■ $ \frac{\partial 缺点:计算机无法精准表达小数,且绝对值越大,越不精准 符号微分:Mul(Const(2), Var(1)) -> Const(2) ■ 缺点:计算结果可能复杂;可能重复计算;难以直接利用语言原生控制流 ◦ 自动微分:利用复合函数求导法则、由基本运算组合进行微分 ■ 分为前向微分和后向微分 ## 符号微分 ## • 我们以符号微分定义表达式构建的一种语义 1. enum Symbol { 2. _ => Mul(f1, f2) 8. } } ## • 化简效果 1. let diff_0 : Symbol = Mul(Constant(5.0), Var(0)) ## 自动微分 ## - 通过接口定义我们想要实现的运算 1. trait Number { 2. constant(Double) -> Self 3. op_add(Self, Self)0 码力 | 30 页 | 3.24 MB | 2 年前3
如何利用深度学习提高高精地图生产的自动化率-邹亮## 如何利用深度学习提高高精地图生产的自动化率 DeepMap 邹亮 2019-05-08 ## 极客邦科技 会议推荐2019  ## QCon 北京 ## 全球软件开发大会 大会:5月6–8日 培训:5月9–10日 QCon 苹果地图首发团队和负责人  • 百度自动驾驶事业部首席架构师 • 三维重建与数据建模博士 ,相机 (Camera), GPS,惯导(IMU) ## DEEPMAP Providence, RI !0 码力 | 34 页 | 56.04 MB | 2 年前3
4_杨柳_基于Python构建高稳定可扩展的自动化测试集群基于Python构建高稳定可扩展的自动化测试集群 网易游戏自动化测试实践分享 杨柳 网易高级经理,技术专家 ## 自我介绍 2013年毕业于北京大学计算机系,同年加入网易 ➢ 负责质量和效率相关平台研发 ✓ QA数据中心 ✓ 游戏舆情监控平台 ✓ TestEase测试分发平台 ✓ Feedback反馈平台 DockerServer服务器管理平台 ✓ Airtest自动化测试框架 ✓ AirLab云测试平台和私有化解决方案 ## 目录 CONTENTS 自动化测试的需求和难点 Airtest自动化测试框架 自动化测试集群产品设计和架构分享 网易自动化解决方案介绍  ## 1 自动化测试的需求和难点 为什么要自动化,怎么自动化 PYTHON 30th ## .jpg) ## 自动化测试高收益场景1——兼容性测试 非常重要 一个机型不兼容,那么损失的将是这个机型下面的所有用户 ➢ 非常耗时间,非常耗人力 市面上大几百台的设备需要去执行大量重复的测试用例  ## 自动化测试高收益场景2——性能测试0 码力 | 62 页 | 25.29 MB | 2 年前3
23-云原生观察性、自动化交付和 IaC 等之道-高磊## 云原生观察性、自动化交付以及 IaC 等之道 ## 云原生产品与架构系列讲座  高磊 曾任阿里巴巴、华为架构师、深信服云原生产品规划主管 11月17日(周三)晚8点-9点  一.另一种PaaS:API-M 二.云原生可观察性方法论 三.云原生自动化交付(ISV业务下发) 四.基础设施即代码拉通云与云原生 ## 全生命周期API管理-1 服务是从内研发视角来看的,但是对于外部消费者只想找到并集成API而已,并不想了解API背后的运维细节 API权限管理 BaaS API: 数据库接口、中间件接口外化成API API接入管理 API进站出站管理 API变更管理 API门户:消费者可以根据领域—能力查询到想要的API。 自动生成SDK方便集成。 API 服务治理 形成市场,能力互补 发行计划:向下兼容,对比发布 API文档:每一个API有一个活档,指导集成。 ## 全生命周期API管理—2—Azure API Management0 码力 | 24 页 | 5.96 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100













