Go 搭建大型开源分布式数据库技术内幕 shenli@PingCAP 关于我 ● 申砾 (Shen Li) ● TiDB 技术负责人 ● 网易有道 / 360搜索 / PingCAP ● Infrastructure software engineer 为什么需要一个新的数据库？ 从单机数据库到 NewSQL ● 关系型数据库 ● NoSQL ● 中间件 ● NewSQL

Python大型Web项目进击 之路 主讲人： 黄志武 – 华世界集团创始人 目录 • Python web开发有什么优势 • 现在的python Web 有哪些选择 • 我们到底是在解决谁的问题 • 业务需求和技术需求哪个更重要 • 技术的价值到底在哪里 Python Web开发有什么优势 • 为什么选择python django框架做web开发 • 基于后端数据模型生成的web模板

颜世光 百度 搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 •

HDFS、MapReduce、YARN、ZooKeeper 和 Hive 的角色 ● Hadoop 与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当涉及数据时，企业中最大的需求便是可扩展能力。科技和 商业促使各种组织收集越来越多的数据，而这也增加了高效管理这 些数据的需求。本章探讨 是分布式的(而非集中式的)，因而不具备关系 型数据库管理系统(RDBMS)的特点。这使得你能够使用 Hadoop 所 提供的大型数据存储和多种数据类型。 第 1 章 Hadoop 概述 3 例如，让我们考虑类似 Google、Bing 或者 Twitter 这样的大型 数据存储。所有这些数据存储都会随着诸如查询和庞大用户基数等 活动事件而呈现出指数增长。Hadoop 的组件可以帮助你处理这些大 总会遇到一台或者多台无法正常工作的风险。HDFS 具备检测故障 和快速执行自动恢复的功能。 HDFS 的设计针对批处理做了优化，它提供高吞吐量的数据访 问，而非低延迟的数据访问。运行在 HDFS 上的应用程序有着大型 数据集。在 HDFS 中一个典型的文件大小可以达到数百 GB 或更大， 所以 HDFS 显然支持大文件。它提供高效集成数据带宽，并且单个 群集可以扩展至数百节点。 Hadoop 是一个单

增加 收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 并可根据需求变化从单一服务器扩展到数以千计的服务器。主 要的Hadoop组件包括Hadoop Distributed File System （用于存储大型文件）和Hadoop分布式并行处理框架（称为 MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解 优化大数据集成工作负载：一种平衡的方法 由于几乎所有Hadoop大数据用例和场景都需要首先进行大数 据集成，所以企业必须确定如何优化整个企业的此类工作负载。 一个Hadoop与大数据集成的重要用例是将大型ETL工作负载 从企业数据仓库 (EDW) 卸载下来，以便降低成本并改善查询 服务水平协议 (SLA)。该用例会引发以下问题： • 企业是否应卸载EDW中的所有ETL工作负载？ • 是否应将 平台由以下两个主要组件构成：分布式容错文件系统 （称为Hadoop Distributed File System (HDFS)）和并 行处理框架（称为MapReduce）。 HDFS平台十分适合处理大型顺序操作，其中的数据读取“切 片”通常为64MB或128MB。通常情况下，除非应用程序加载 数据来管理相关任务，否则不会对HDFS文件进行分区或排 序。即使应用程序可以对生成的数据切片进行分区和排序，

2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的日期）来 确定大型语言模型（大小超过 10B）的发展历程。如果没有相应的论文，我们 将模型的日期设定为其公开发布或宣布的最早时间。我们用黄色标记那些公开 可用的模型检查点。由于空间限制，我们只包括那些公开报道评估结果的大型 语言模型。 Figure 2: 各个大型语言模型发布时间线 5 1.4 基础概念 1.4.1 上下文窗口 工具，分别包括：问答，图像，视频，AI 编程，AI 提 示词和 AI 大模型，一共梳理挑选共计 38 个 AI 工具，其中很多都是开源！ 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型，它基于 GPT（Generative Pre-trained Transformer）架构。这种模型通过分析大量的文本数据来学习语 言结构和信息，使其能够生成连贯的文本、回答问题、撰写文章、进行对话等。 供辅助，包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型，它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问（Qwen）是阿里云开发的一系列预训练的大型语言模型，用于聊天、 生成内容、提取信息、总结、翻译、编码、解决数学问题等多种任务。这些模型 在多种语言数据上进行预训练，包括中文和英文，覆盖广泛的领域。

(Politics)、安全问题 (Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 对其 GPU 的巨大需求，跻身市值万亿美元俱乐部；  主要芯片供应商开发了不受出口管制影响的替代产品；  在 ChatGPT 的带领下，生成式 AI 的应用在图像、 改进了性能，响应时间更长， 可通过 API 访问。此外还上线了面向公众的 beta 网站 claude.ai。 2023 年 3 月 14 日，OpenAI 正式推出 GPT-4。 GPT-4 是多模态大型语言模型(Large MultiModal Model)，这是和 GPT-3 的 一个显著区别，它的输入输出不再局限于文本，可以是图像或者是视频。 Anthropic团队由参与OpenAI GPT ate” 可实现代码的快速补齐、自然语言推荐代码、 自动查找代码错误，全面提升开发者研发效率。 谷歌官宣 ChatGPT 竞品：Bard 2023 年 4 月，陈天奇团队(MLC)发布了一个可将大型语言模型和基于 LLM 的聊天机器人引入 Web 浏览器的项目：Web LLM。一切都在浏览器内运行， 无需服务器支持，并使用 WebGPU 加速。 用 ChatGPT 控制 AI 模型 陈天奇团队发布

Who am I ? 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 1. 互操作（Interoperability） 4. EVM 兼容 5. Rust What is Axon What is Axon 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现 1. Mempool（交易池） 2. Consensus (Overlord) 可维护性，开发完成后，各个模块需要维护、升级和改进 • 可扩展性 • 高性能 • 高并发 • 高可靠性 • 代码管理 • … 大型项目的开发难点 ■ 抽象 ■ 便于协作开发 ■ 易于测试 优点 Mempool Traits 实现 实现 测试代码 目录 1. Axon 简介 2. 大型 Rust 项目应用 Adapter 模式 3. 使用过程宏的监控埋点开发实践 4. 区块链间互操作性的实现