海尔实时计算平台技术选型与实践海尔实时计算平台技术选型与实践 海尔电器-肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景-海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm •Kafka Web Console •Kafka Manager •KafkaOffsetMonitor •Uber开源Kafka监控工具--Chaperone Kafka web监控管理界面 流式计算可选方案 仅流处理框架: • Storm • JStorm • Samza • Heron 混合框架: • Spark • Flink Core Storm or Storm Trident?0 码力 | 41 页 | 3.21 MB | 1 年前3
Golang 在隐私计算平台建设中的实践 - 刘敬golang 在隐私计算平台建设中的实践 刘敬 杭州趣链科技有限公司 2021-10 ⽬目录 隐私计算介绍 01 隐私计算平台架构 02 构建隐私计算算法框架的实践 03 ⼀一些优化技巧 04 01 隐私计算介绍 趣链科技版权所有©2016 – 2021 4 隐私计算概念 隐私计算(Privacy preserving computation)是指在保证数据提供⽅方不不泄露露原始 原始 数据的前提下,对数据进⾏行行分析计算的⼀一系列列信息技术,保障数据在流通和融合过程 中的“可⽤用不不可⻅见”。 数据提供⽅方 数据提供⽅方 数据使⽤用⽅方 计算结果 趣链科技版权所有©2016 – 2021 5 隐私计算背景 欧盟出台的《通⽤用数据保护条例例》(GDPR)于2018年年5⽉月正式实⾏行行,加强对欧盟境内居 ⺠民的个⼈人数据和隐私的保护。 2021年年7⽉月 织、个⼈人不不得⾮非法收集、使⽤用、加⼯工、传输他⼈人个⼈人信息,不不得⾮非法买卖、提供或者公 开他⼈人个⼈人信息。该法⾃自2021年年11⽉月1⽇日起施⾏行行。 趣链科技版权所有©2016 – 2021 6 隐私计算历史 1982年年姚期智提 出 百 万 富 翁 问 题 , 安 全 多 ⽅方 计 算概念被提出 1986年年姚期智提出 基于混淆电路路的通 ⽤用解决⽅方案 2016年年⾕谷歌提出联0 码力 | 37 页 | 6.20 MB | 1 年前3
全球架构师峰会2019北京/量子计算/量子计算及其潜在应用&mdash量子计算及其潜在应用 吕定顺 华为中央研究院高级研究员 吕定顺 量子算法和软件研究 • 吕定顺博士,目前就职于华为2012实验室中 央研究院,毕业于清华大学交叉信息研究院 量子物理学专业,至今在量子计算、量子模 拟领域等已经有7年研究经验。博士期间,曾 在 Nature Physics,PRX,Nature Communication,PRL,PRA 等国际知名期刊 发表论文7篇,H index为7,论文累计引用 480次。目前专精并聚焦在量子软件和算法研 究领域。 • 量子计算的基本原理 • 量子计算机遇和挑战 • 华为量子计算的进展 • 量子计算的潜在应用 量子计算的基本原理:叠加 Dead Live Curiosity Kill the Cat 1/2( Dead + |????⟩) Huawei Confidential 5 量子计算的基本原理:纠缠 Particle 1 Particle Particle 2 1 2 ( ↓1 ↓2 + | ↑1⟩| ↑2⟩) 量子计算的并行性 Equals to classical computer operate 2Ntimes Exp: Decry a 400bits integer that used for RSA password,it will take 600k years with the best classical computer0 码力 | 34 页 | 5.57 MB | 1 年前3
FPGA助力Python加速计算 陈志勇FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年10月19日,北京 2 ➢ Python 语言:易学易读易用、可扩展性、可移植性等。 ➢ Python 开发工具:库丰富、效率高、调试方便 ➢ Python 的应用: 人工智能、数据分析等 ➢ Python 的生态环境:软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品?如何实现 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈? ➢ 传统的计算平台:基于通用处理器的架构,Intel x86 ➢ 新的嵌入式计算平台:MCU,DSP,FPGA,GPU、ASSP等 ➢ 嵌入式计算: ➢ 嵌入式系统是以应用为中心,以计算机技术为基础,软硬件可裁剪,适用于应用系统对功能、可靠 性、成本、体积、功耗有严格要求的专用计算机系统,它一般由嵌入式微处理器、外围硬件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 式操作系统以及用户的应用程序等四个部分组成。 ➢ 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. ➢ 加速计算: ➢ 如何提高计算效率,提高计算性能 ➢ 加速计算框架的考虑 ➢ 加速计算平台的考虑 ➢ FPGA 是如何作为加速平台的?在边缘和云端 Python 与嵌入式计算 4 ➢ FPGA(Field Programmable Gate Array)是在PAL、GAL等可编程器件的基础上进一步发展的0 码力 | 34 页 | 4.19 MB | 1 年前3
07 FPGA 助力Python加速计算 陈志勇FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年10月20日,深圳 2 Ø Python 语言:易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具:库丰富、效率高、调试方便 Ø Python 的应用: 人工智能、数据分析等 Ø Python 的生态环境:软件平台、硬件平台、方案合作伙伴 等 Ø 用 Python 如何开发嵌入式产品?如何实现 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈? Ø 传统的计算平台:基于通用处理器的架构,Intel x86 Ø 新的嵌入式计算平台:MCU,DSP,FPGA,GPU、ASSP等 Ø 嵌入式计算: Ø 嵌入式系统是以应用为中心,以计算机技术为基础,软硬件可裁剪,适用于应用系统对功能、可靠 性、成本、体积、功耗有严格要求的专用计算机系统,它一般由嵌入式微处理器、外围硬件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 式操作系统以及用户的应用程序等四个部分组成。 Ø 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. Ø 加速计算: Ø 如何提高计算效率,提高计算性能 Ø 加速计算框架的考虑 Ø 加速计算平台的考虑 Ø FPGA 是如何作为加速平台的?在边缘和云端 Python 与嵌入式计算 4 Ø FPGA(Field Programmable Gate Array)是在PAL、GAL等可编程器件的基础上进一步发展的0 码力 | 34 页 | 6.89 MB | 1 年前3
2_FPGA助力Python加速计算_陈志勇FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年9月21日, 上海 2 Ø Python 语言:易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具:库丰富、效率高、调试方便 Ø Python 的应用: 人工智能、数据分析等 Ø Python 的生态环境:软件平台、硬件平台、方案合作伙伴等 Ø 用 Python 如何开发嵌入式产品?如何实现 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈? Ø 传统的计算平台:基于通用处理器的架构,Intel x86 Ø 新的嵌入式计算平台:MCU,DSP,FPGA,GPU、ASSP等 Ø 嵌入式计算: Ø 嵌入式系统是以应用为中心,以计算机技术为基础,软硬件可裁剪,适用于应用系统对功能、可靠 性、成本、体积、功耗有严格要求的专用计算机系统,它一般由嵌入式微处理器、外围硬件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 式操作系统以及用户的应用程序等四个部分组成。 Ø 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. Ø 加速计算: Ø 如何提高计算效率,提高计算性能 Ø 加速计算框架的考虑 Ø 加速计算平台的考虑 Ø FPGA 是如何作为加速平台的?在边缘和云端 Python 与嵌入式计算 4 Ø FPGA(Field Programmable Gate Array)是在PAL、GAL等可编程器件的基础上进一步发展的0 码力 | 33 页 | 8.99 MB | 1 年前3
202309 MeterSphere ⼀站式开源持续测试平台⼀站式开源持续测试平台 2023 年 9 ⽉ 1 2 持续测试的兴起与现状 3 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 持续测试是持续交付发展的必然需求 持续交付可以降低发布⻛险,提⾼可靠性,使 软件能够根据⽤户反馈、市场变化和企业战略 变更不断进⾏调整。 持续交付能⼒是企业核⼼竞争⼒ 持续测试能⼒保障业务⾜够可靠 持续测试是执⾏⾃动化测试的过程,作为软件 造成测试阻塞的三个⽅⾯ 测试平台是提⾼⽣产能效最⾼效⽅法之⼀ 开发中 等待测试 测试中 建设测试平台,提升测试整体的吞吐量 测试跟踪 测试计划 测试环境 测试数据 测试资源 API 项⽬ 管理 ⼈员 管理 接⼝ 测试 功能 测试 性能 测试 UI 测试 其他 测试 从系统⻆⾊的⻆度来看,下游的 ⽣产⼒决定上游的⽣产速度。通 过测试平台的建设,最终推动研 发效能的提升。 持续测试的兴起与现状 3 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 MeterSphere 的使命 MeterSphere 是⼀站式的开源持续测试平台,遵循 GPL v3 开源许可协议,涵盖测试 管理、接⼝测试、UI 测试和性能测试等功能,全⾯兼容 JMeter、Selenium 等主流开 源标准,有效助⼒开发和测试团队充分利⽤云弹性进⾏⾼度可扩展的⾃动化测试,加0 码力 | 45 页 | 4.65 MB | 1 年前3
基于Go的大数据平台-党合萱基于Go的⼤大数据平台 七⽜牛云—党合萱 什什么是Pandora 简单 · 可信赖 Pandora架构图 Export Service API / Portal / 消息 消息 计算 计算 消息 导出任务 导出任务 导出任务 导出任务 导出任务 计算 消息 对象存储服务 较少的⼈人⼯工介⼊入 • 秒级扩容 • 实时的可视化监控系统 • 易易⽤用的报警系统 • ⾃自动⽣生成线上⽇日报 简单 · 可信赖 Go的应⽤用 我们⽤用Golang做了了些什什么 • 流式计算、离线计算、⽇日志检索、时序数据库等⼀一整套服务的核⼼心代码都使⽤用 Golang开发 • 简单、⾼高效、易易⽤用的数据接⼊入⼯工具logkit,除了了pandora之外可以接⼊入多种数据 库、kafka、机器器metric信息等等0 码力 | 34 页 | 1.26 MB | 1 年前3
202205 MeterSphere:一站式开源持续测试平台⼀站式开源持续测试平台 2022 年 5 ⽉ 1 2 持续测试的兴起与现状 3 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 持续测试是持续交付发展的必然需求 持续交付可以降低发布⻛险,提⾼可靠性,使 软件能够根据⽤户反馈、市场变化和企业战略 变更不断进⾏调整。 持续交付能⼒是企业核⼼竞争⼒ 持续测试能⼒保障业务⾜够可靠 持续测试是执⾏⾃动化测试的过程,作为软件 持续测试的兴起与现状 3 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 MeterSphere 的使命 MeterSphere 是⼀站式的开源持续测试平台,遵循 GPL v3 开源许可协议,涵盖测试 跟踪、接⼝测试、UI 测试和性能测试等功能,全⾯兼容 JMeter、Selenium 等主流开 源标准,有效助⼒开发和测试团队充分利⽤云弹性进⾏⾼度可扩展的⾃动化测试,加 ⽤户群体分布⼴泛,参与社区讨论的⽤户超过 10,000 ⼈ - - ⼀个平台解决测试⼈员、测试能⼒、测试数据⼀站式问题 - 协作⼀站式 让不同的组织、团队和⼈员的关键活动有序地串联在⼀起, 实现协作测试能⼒外溢,帮助测试左移和测试右移。 测试⼀站式 数据⼀站式 包含⼈⼯测试、接⼝管理、接⼝⾃动化测试、UI 测试、性能测 试等测试功能,是⼀个功能⼀站式的测试平台。 对测试前准备数据、测试过程数据、测试后数据等进⾏整合0 码力 | 40 页 | 11.03 MB | 1 年前3
202203 MeterSphere:一站式开源持续测试平台⼀站式开源持续测试平台 2023 年 3 ⽉ 1 2 持续测试的兴起与现状 3 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 持续测试是持续交付发展的必然需求 持续交付可以降低发布⻛险,提⾼可靠性,使 软件能够根据⽤户反馈、市场变化和企业战略 变更不断进⾏调整。 持续交付能⼒是企业核⼼竞争⼒ 持续测试能⼒保障业务⾜够可靠 持续测试是执⾏⾃动化测试的过程,作为软件 造成测试阻塞的三个⽅⾯ 测试平台是提⾼⽣产能效最⾼效⽅法之⼀ 开发中 等待测试 测试中 建设平台,提升测试整体的吞吐量 测试跟踪 测试计划 测试跟踪 测试环境 测试数据 测试资源 API 项⽬ 管理 ⼈员 管理 接⼝ 测试 功能 测试 性能 测试 UI 测试 其他 测试 从系统⻆⾊出发来看,下游的⽣ 产⼒决定上游的的⽣产速度。通 过测试平台的建设,最终推动研 持续测试的兴起与现状 3 MeterSphere 加速企业持续测试落地 MeterSphere 企业版及专业服务 MeterSphere 的使命 MeterSphere 是⼀站式的开源持续测试平台,遵循 GPL v3 开源许可协议,涵盖测试 跟踪、接⼝测试、UI 测试和性能测试等功能,全⾯兼容 JMeter、Selenium 等主流开 源标准,有效助⼒开发和测试团队充分利⽤云弹性进⾏⾼度可扩展的⾃动化测试,加0 码力 | 41 页 | 11.71 MB | 1 年前3
共 599 条
- 1
- 2
- 3
- 4
- 5
- 6
- 60













