阿里云上深度学习建模实践-程孟力3. 工程优化复杂 2. 模型效果优化困难 深度模型是非线性的： 从FM到DeepFM rt 增加了10倍怎么优化？ x 海量参数 x 海量数据 • 参数很多 挑战 • 不同场景的数据上差异大 • 参数敏感 4. 数据获取困难 x 标注速度慢 ✗ 标注成本高 x 样本分布不均匀 ✗ 隐私保护 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型？ ## 3. 工程优化复杂 2. 模型效果优化困难 深度模型是非线性的： 从FM到DeepFM rt 增加了10倍怎么优化？ x 海量参数 x 海量数据 • 参数很多 挑战 • 不同场景的数据上差异大 • 参数敏感 4. 数据获取困难 x 标注速度慢 ✗ 标注成本高 x 样本分布不均匀 ✗ 隐私保护 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型？ ### Framework MPI Parameter Server Tensorflow PyTorch MapReduce SQL Blink ## 优势: 场景丰富: 图像/视频/推荐/搜索 大数据+大模型: Model Zoo 跨场景+跨模态 开箱即用: 封装复杂性 白盒化, 可扩展性强 积极对接开源系统+模型 ## 标准化: Standard Libraries ## EasyRec:0 码力 | 40 页 | 8.51 MB | 2 年前3- 数据迁移## 数据迁移 ## 存量 MySQL 迁移到 TiDB 服务 UDTS 产品支持 MySQL(5.5/5.6/5.7/8.0) 到 TiDB 的全量数据迁移，及增量数据同步。可协助用户在不停机的情况下轻松将业务从 MySQL 切换至 TiDB。 ## 自建 TiDB 迁移到 TiDB 服务 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 服务。用户在源 TiDB 开启 Pump, Drainer 可进行数据增量同步。UDTS 与源端 Pump, Drainer 一起可协助用户在不停机的情况下轻松将业务从自建 TiDB 切换至 TiDB 服务。 ## 为 TiDB 服务建立 MySQL 从库 UDTS 产品支持 TiDB 全量数据迁移至 MySQL 数据库。用户在 TiDB 服务上开启 Binlog 可将数据增量同步至下游 MySQL。UDTS 与 TiDB Binlog Binlog 服务一起可协助用户轻松建立 MySQL 从库。 ## 为 TiDB 服务建立 TiDB 从库 UDTS 产品支持 TiDB 全量数据迁移至 TiDB 数据库。用户在源 TiDB 服务上开启 Binlog 可将数据增量同步至下游 TiDB。UDTS 与 TiDB Binlog 服务一起可协助用户轻松建立 TiDB 从 库。0 码力 | 2 页 | 42.01 KB | 1 年前3
- 统一建模语言 UML 参考手册 - 基本概念统一建模语言参考手册 —基本概念  翻译: Adams Wang # The Unified Modeling Language Reference Manual James Rumbaugh Ivar Jacobson Grady Grady Booch Powered by TCPDF (www.tcpdf.org) ## 译者序 统一建模语言（UML）是一种直观化、明确化、构建和文档化软件系统产物的通用可视化建模语言。UML 由面向对象领域的三位大师：Grady Booch、Jim Rumbaugh 和 Ivar Jacobson 于 1996 年发布，并提交给 OMG。UML 于 11 月为 OMG 所采用，现已成为业界标准。 、扩展机制）对各个视图进行详细的讨论。它们分别从静态建模机制、动态建模机制、模型管理机制以及扩展机制对 UML 进行探讨。 UML 标准元素讨论了一些与核心概念的区别较小或者重要性不足以被包括至 UML 核心概念的元素。原文中仅有标准元素表。为了便于大家的理解，它们以 UML 的相关核心元素组织起来，并提供了对应核心元素的解释。 OMG 建模词汇表引自 UML 规范，原文中未有相关内容。英语原文可参见0 码力 | 123 页 | 2.61 MB | 2 年前3
- 领域驱动设计&中台/领域建模的易与难## 领域建模的难与易 ## 王鹏 华为公司LS云计算培训方案架构师  王鹏 ⚪ 广东 深圳  图片来源：视觉中国 www.vcg.com ## 领域模型 = 概念+关系 实体 值对象 聚合 服务 模块 ## 为宇宙建模的人  回首三个世纪前，当时物理学 软件开发的核心复杂度也是来自领域本身，各种概念相互勾连，所以我们需要深入认识领域，正确地识别出领域深层概念及其关系； 3. 领域建模的根本目的是将领域知识进行结构化的表达，如果这个结构与编程模型始终保持一致，那便是DDD；DDD是通过缩短反馈回路以快速迭代验证模型的有效方法； ## 让领域建模从“自发”走向“自觉” 让我们从“码农”转成“码哲” 世界新生伊始，许多事物还没有名字，提到的时候尚需用手指指点点。0 码力 | 27 页 | 2.85 MB | 2 年前3
- 2.1.3 如何用go module构建模块化跨链平台GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 如何用go module构建模块化跨链平台 汪小益 趣链科技 ’ alt=‘OCR图片’/> 什么是区块链 跨链的重难点分析 跨链平台架构设计 Go module和plugin 的应用实践 GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 1 什么是区块链 GOPHER 2020-11.21-22 1 什么是区块链 — 交易 交易指的是一次对账本的操作，如一笔转账交易。 区块 将一段时间内发生的所有交易和状态打包成为一个区块。 块链式数据结构 （狭义区块链） 区块以时间顺序前后相连，组成一种块链式数据结构，即“区块链”一词的由来。 分布式账本 （广义区块链） 多参与方各自部署，互联互通，构成分布式网络。 GOPHER CHINA 2020 1 异构区块链生态 2 跨链的重难点分析 GOPHER CHINA 2020 中国 上海 / 2020-11.21-22 什么是跨链 区块链之间实现可信互操作 资产交换 区块链账本间的资产互操作 数据交换 区块链上数据的共享与同步 ```markdown 业务互补 调用他链服务完善己链业务 GOPHER CHINA 2020 2 跨链难点分析 区块链A 区块链B 支持异构区块链 $ \math0 码力 | 27 页 | 1.24 MB | 1 月前3
- SQLite 数据转 Mysql# SQLite 数据转 Mysql #### I nsMsgServer 3.7.6 ## 当前 InHgServer 环境 以下过程在 win7 sp1 x64 系统下完成, 如果您的系统不能运行以下相关程序, 请将服务器的 db/ 目录下的 IMBase.dat 文件复制到 win7 sp1 x64 系统下完成  ## 利用 InHgServer 生成 Mysql 数据库 确保 mysql 数据库中没有 IM 相关库  调整使用 Mysql 作为数据库，并点击启动  确认启动后数据库正确建立
InsMsgServer Start(2017-12-17 05:59:25) General Data Network 0 码力 | 17 页 | 1.40 MB | 2 年前3 Flink如何实时分析Iceberg数据湖的CDC数据Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李劲松/胡争 FLINK FORWARD #ASIA 2020 #1 #2 #3 #4 常见的CDC 为何选择 Flink 如何实时写 未来规划 分析方案 + Iceberg 入读取 FLINK FORWARD #ASIA 2020 ## #1 常见的CDC分析方案 ## 离线 HBase 集群分析 CDC 数据 ↓ ## MySQL 3、通过RegionServer定位HFile，Server的优化和缓存完全用不上。 4、数据格式绑定HFile，不方便拓展到Parquet、Avro、Orc等。 FLINK FORWARD #ASIA 2020 ## Apache Kudu 维护 CDC 数据集 ## MySQL ## 方案评估 优点 1、支持实时更新数据，时效性佳。 2、列存加速，适合OLAP分析。 ## 缺点 1、独立的Kudu集群，比较小众。维护成本高。 等割裂。数据独立，且存储成本不如 S3 / OSS。 3、Kudu的批量扫描不如parquet。 4、不支持增量拉取。 FLINK FORWARD #ASIA 2020 ## MySQL → GQOOP → HVE ## 方案评估 优点 1、流程能工作 2、Hive存量数据不受增量数据影响。 ## 缺点 1、数据不是实时写入； 2、每次数据导致都要 MERGE 存量数据。T+10 码力 | 36 页 | 781.69 KB | 2 年前3 领域驱动设计&中台/基于DDD的领域建模中的模版和工具实践## 基于DDD领域建模中的 模版和工具实践 王海文 DDCHINA 大纲 01 业务分析 02 战略设计 03 战术设计 ## 个人介绍 王海文 用友网络高级技术架构师 智能制造领域耕耘多年 ➢致力于推动领域驱动设计  [Image](/uploads/documents/1/4/0/9/140916a6650c876b3d4f40b277dfbb64/p9_1.jpg) ## 最佳实践---工具 1. 建模工具。 2.需要统一建模语言（UML）。 3.需要团队协作能力。  IBM $ ^{®} $ ## 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进大数据措施的经济性和活力，这样不仅有助于削减 开源软件项目，支持在多个商业服务器群集间分散处理和存储大型数据集，并可根据需求变化从单一服务器扩展到数以千计的服务器。主要的Hadoop组件包括Hadoop Distributed File System（用于存储大型文件）和Hadoop分布式并行处理框架（称为MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这 。 ## 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和分析大数据方面实现了范式转变。无论是要更深入的分析，还是希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都可以通过这项技术一一实现，从而大幅降低成本并创造新的收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种不同来源的大量不同类型的数据来实现大数据与Hadoop0 码力 | 16 页 | 1.23 MB | 2 年前3 Curve元数据节点高可用Curve元数据节点高可用 • 1. 需求 • 2. 技术选型 • 3. etcd clientv3的concurrency介绍 • 3.1 etcd clientV3的concurrency模块构成 • 3.2 Campaign的流程 • 3.2.1 代码流程说明 • 3.2.2 举例说明Campagin流程 • 3.3 Observe的流程 4. MDS使用election模块的功能进行选主 区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 ### 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群节点间的资源均衡等，mds故障可能会导致client端无法写入。 因此，mds需要做高可用。满足多个mds，但同时只有一个mds节点提供服务，称该提供服务的m 熟知的就是zookeeper和etcd，考虑当前系统中mds有两个外部依赖模块，一是mysql，用于存储集群拓扑的相关信息；二是etcd，用于存储文件的元数据信息。而etcd可以用于实现mds高可用，没必要引入其他组件。 使用etcd实现元数据节点的leader主要依赖于它的两个核心机制：TTL和CAS。TTL(time to live)指的是给一个key设置一个有效期，到期后key会被自0 码力 | 30 页 | 2.42 MB | 1 年前3共 1000 条- 1
- 2
- 3
- 4
- 5
- 6
- 100