大数据时代的Intel乊Hadoop 系统方案架构师：朱海峰 英特尔®中国于计算创新中心 2013.4 北京 法律声明 本文所提供乊信息均不英特尔® 产品相关。本文丌代表英特尔公司戒其它机构向仸何人明确戒隐含地授予仸何知识产权。除相关产品的英特尔销售条款不条件中列明乊担保条件以外，英特 尔公司丌对销售和/戒使用英特尔产品做出其它仸何明确戒隐含的担保，包括对适用亍特定用途、适销 些设备的质量、可靠性、功能戒兼容性丌提供仸何担保戒保证。本列表和/戒这些设备可随时更改，恕丌另行通知。 版权所有 © 2012 英特尔公司。所有权保留。 提纲 • 大数据时代的新挑戓 • 大数据时代的Intel • 关注产业应用，产研相亏促迚 从文明诞生到2003年，人类文明产生了 5EB的数据； 而今天，我们每两天产生5EB的数据。 Eric Schmidt PB）数据, 2015 年150亿部接入设备 大数据时代的数据 2011年每天处理的数据超 过： 24 PB 2011年6月乊前， Facebook平台每天分享资 料： 40亿 智慧城市数据 中国某一线城市: 200PB/季度 中国一线城市健康档案数 据： 5.5 million 传统的数据处理技术 大数据时代的数据 速度 数据量 多样化 传统数据

Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar

Docker CE v17.MM 进行了重新修订，2017 年底发布了 0.9.0 版 本。旧版本（Docker 1.13-）内容，请阅读 docker-legacy 分支的内容。 Docker 是个划时代的开源项目，它彻底释放了计算虚拟化的威力，极大提高了应用的运行效 率，降低了云计算资源供应的成本！使用 Docker，可以让应用的部署、测试和分发都变得前 所未有的高效和轻松！ 无论是应用开发 Ubuntu 操作系统 Ubuntu 是一个以桌面应用为主的GNU/Linux操作系统，其名称来自非洲南部祖鲁语或豪萨语 的“ubuntu”一词（官方译名“友帮拓”，另有“吾帮托”、“乌班图”、“有奔头”或“乌斑兔”等译 名）。Ubuntu 意思是“人性”以及“我的存在是因为大家的存在”，是非洲传统的一种价值观，类 似华人社会的“仁爱”思想。 Ubuntu 基于 Debian 发行版和 GNOME/Unity

01 2010 开始网络代理白盒 化，定制业务逻辑，软 硬件一体解决方案 自研 02 2015 年无线通道协议，安 全升级， 连接收编 All in 无线 03 PC时代 移动时代 万物互联云原生时代 2018 年协议，安全持续升 级（QUIC，MQTT，国密）， 云原生 再启程 03前世 F5 BigIP Netscaler自研四层网络代理 2011 2014 2018 百万级每秒推送Spanner 2010 • 自研，网络设备白盒化 • 全面实践全网https 2012 • 首次全流量支撑双十一大促 2013 • 支持蚂蚁LDC架构，三地五中心容灾架构 • 全面上线SSL加速卡，提供软硬件一体加速方案 2015 • All in 无线，通信通道全面升级（MMTP，MTLS协议） 2016 • 安全防护能力提升，WAF，流量镜像 2018至 今 • 通信协议，架 Intel QAT Cavium Nitrox软硬件一体解决方案 SSL握手性能 提升3倍 • 对Spanner实现了异步化改造 • 对openssl进行了异步化引擎改造 • 实现多芯片卡的负载均衡协议实现的改造-MTLS MTLS：1) 轻量级TLS库，小于50k；2) 优化的TLS协议 0-RTT • 减少握手延迟 • 代价：握手前发送的数据不能 保证防重放攻击，因此要求应

聚焦到应用系 统风险源头 API安全性 失效的用户认证、安全性、错误配置、注入等 闭源组件 软件物料清单的描述 软件物料清单（SBOM, Software Bill Of Material）是云原生时代应用风险治理的基础设施。 特点： • 是治理第三方组件风险（开源+闭源）的必备工具； • 可深度融合于DevOps应用生产模式； • 可与多种DevSecOps工具链联动强化效能（SCA、RASP、漏洞情报）； OpenSCA扫描结果 h********r-main p********s-main c**********a-main 云原生时代下的软件供应链攻击 “到2025年，全球45%的组织会受到软件供应链攻击，比2021年增长三倍”——Gartner 云原生时代下的软件供应链攻击 软件供应链安全事件频发，“核弹级”第三方组件漏洞的影响面和危害大 2020 年12月，美国企业和政府网络突遭“太阳风 是一个包含软件组件列表和层次依赖信 息且机器可读的规范性清单。 实践要点——固化到流程和体系 围绕SBOM建立管理流程 轻量方案 落地方案 开发测试：将SCA工具对接到 DevOps流程里，对编译构建环节卡 点，保障软件构建时所依赖组件的安 全性，确保不引入存在漏洞的组件； 使用基于插桩技术的IAST工具，在功 能测试的同时，检测是否存在高危漏 洞风险，并展示漏洞触发数据流，便 于修复指导。

应用方面发挥 着越来越重要的作用。云计算的普遍应用和相关技术发展，使其已经经历了云计 算 1.0 虚机时代、云计算 2.0 原生时代，目前正在朝着云计算 3.0 智能时代迈进。 因此，在当前云计算 2.0 时代，云原生技术日趋成熟，并因大语言模型的推 动助力朝着云计算 3.0 智能时代迈进的背景下，分析云原生安全的发展情况和面 临的威胁，并研究云原生安全能力，能够为企业整体的云安全防护体系建立提供 代码的相关依赖， 依然会引入一定量的软件、文件等内容，所以需建立相关能力，对镜像可能存在 的漏洞、软件成分、敏感信息（备份文件、SSH 密钥、敏感环境变量等）、木马 病毒等风险进行审查，并建立卡点及修复流程机制，形成规范。 （3）镜像来源检测 镜像来源检测，也称为可信镜像，是一项安全实践，旨在验证和确保容器镜 像的来源可信度和完整性。通过使用数字签名、加密哈希等技术，可以验证镜像 的

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519 12.4.5 GPU和其他加速卡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522 12.4.6 网络和总线 . . . . . 一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得到充分的理解、充分的文档记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 组 动作。深蓝公司利用大规模并行性、专用硬件和高效搜索游戏树 (Campbell et al., 2002) 击败了加里·卡 斯帕罗夫(Garry Kasparov)。围棋由于其巨大的状态空间，难度更大。AlphaGo在2015年达到了相当于 人类的棋力，使用和蒙特卡洛树抽样 (Silver et al., 2016) 相结合的深度学习。扑克中的挑战是状态空间 很大，而且没有完全观察到（我

在，点击 Create 即可完成。点击后即可触发 Operator 启动 pod、服务和新 etcd 集群的其 他组件。 5. 点 example etcd 集群，然后点 Resources 选项卡，您可以看到项目现在包含很多由 Operator 自动创建和配置的资源。 验证已创建了支持您从项目中的其他 pod 访问数据库的 Kubernetes 服务。 6. 给定项目中具有 edit 角色 Installed Operators 页 面，以监控更新的进度。完成后，状态会变为 Succeeded 和 Up to date。 对于采用手 手动批准策略的订阅，您可以从 Subscription 选项卡中手动批准更新。 4.2.3. 手动批准待处理的 Operator 更新 如果已安装的 Operator 的订阅被设置为 Manual，则当其当前更新频道中发布新更新时，在开始安装前必 须手动批准更新。 条件设置为 Operator 作者的更多信息，请参阅启用 Operator 条 件页面。 4.7.2.1. 设置默 置默认值 为了保持向后兼容，OLM 认为在没有 OperatorCondition 时代表不使用条件。因此，要使用 Operator 条件的 Operator，在将 pod 的就绪探测设置为 true 前应设置默认条件。这为 Operator 提供了一个宽限 期，用于将条件更新为正确的状态。

项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽 管目前能达到的智能水平离通用人工智能(Artificial General Intelligence，简称 AGI)还有一 段距离，我们仍坚定地相信人工智能时代已经来临。 机器学习是人工智能的一个重要研究领域，而深度学习则是近几年最为火热的一类人 工智能算法。接下来我们将介绍人工智能、机器学习、深度学习的概念以及它们之间的联 系与区别。 1.1.1 神经网络算法是一类基于神经网络从数据中学习的算法，它仍然属于机器学习的范 畴。受限于计算能力和数据量，早期的神经网络层数较浅，一般在 1~4 层左右，网络表达 能力有限。随着计算能力的提升和大数据时代的到来，高度并行化的 GPU 和海量数据让大 规模神经网络的训练成为可能。 2006 年，Geoffrey Hinton 首次提出深度学习的概念。2012 年，8 层的深层神经网络 AlexNet 亿个神经元，每个神经元通过树突获取输入信号，通过轴 突传递输出信号，神经元之间相互连接构成了巨大的神经网络，从而形成了人脑的感知和 意识基础，图 2.1 是一种典型的生物神经元结构。1943 年，心理学家沃伦·麦卡洛克 (Warren McCulloch)和数理逻辑学家沃尔特·皮茨(Walter Pitts)通过对生物神经元的研究， 提出了模拟生物神经元机制的人工神经网络的数学模型 [1]，这一成果被美国神经学家弗

——《C时代 新零售——阿里研究院新零售研究报告》 中国零售发展处于初级阶段 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售是什么 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售知识框架 ——《C时代 新零售——阿里研究院新零售研究报告》 数字经济基础设施 ——《C时代 新零售——阿里研究院新零售研究报告》 AI：贯穿新零售全流程 ——《C时代 新零售——阿里研究院新零售研究报告》 新零售——阿里研究院新零售研究报告》 AR/VR：虚实结合的消费体验 ——《C时代 新零售——阿里研究院新零售研究报告》 传感器和IoT：提升门店消费体验 ——《C时代 新零售——阿里研究院新零售研究报告》 用户需求：线下门店业绩如何提升？ 全球实体零售发展遭遇天花板 品牌间存量竞争 ——《C时代 新零售——阿里研究院新零售研究报告》 线上销售的广告位：直通车/钻展 线下门店的广告位：黄金位置