## 深度学习在百度搜索中的工程实践 曹皓 百度资深研发工程师 # TGO鲲鹏会 # 汇聚全球科技领导者的高端社群 全球12大城市 850+高端科技领导者 使命 Mission 为社会输送更多优秀的 科技领导者 ## 愿景 Vision 构建全球领先的有技术背景 优秀人才的学习成长平台  ## 自我介绍 • 百度-核心搜索部-资深研发工程师 • 2012年硕士毕业于北京大学，同年加入百度 - 目前负责百度搜索调研架构相关研发工作  ## 目录 ➢ 搜索系统简介 ➢ 搜索中的深度学习 ➢ 深度学习应用中的工程难点 深度学习应用中的工程难点 ➢ 总结 ## 目录 搜索系统简介 搜索中的深度学习 深度学习应用中的工程难点 总结 ## 智能进化中的百度一下 24°海淀35优  搜索或输入网址 推荐 关注 热榜 青年榜样习近平

#### Linux命令大全搜索工具 v1.8.0  当前仓库搜集了 570 多个 Linux 命令，内容包含 Linux 命令手册、详解、学习，内容来自网络和网友的补充，非常值得收藏的 Linux 命令速查手册. ![Image](/ Linux Command 介绍 A ab Apache服务器的性能测试工具 accept 指示打印系统接受发往指定目标打印机的打印任务 ack 比grep好用的文本搜索工具 alias 定义或显示别名 apachectl Apache服务器前端控制工具 apk Alpine Linux 下的包管理工具 apropos 在 whatis 命令用于中断FTP连线并结束程序 bzcat 解压缩指定的.bz2文件 bzcmp 比较两个压缩包中的文件 bzdiff 直接比较两个.bz2压缩包中文件的不同 bzgrep 使用正则表达式搜索.bz2压缩包中文件 bzip2 将文件压缩成bz2格式 bzip2recover 恢复被破坏的.bz2压缩包中的文件 bzless 增强.bz2压缩包查看器 bzmore 查看bzip2压缩过的文本文件的内容

全球软件开发大会 INTERNATIONAL SOFTWARE DEVELOPMENT CONFERENCE BEIJING 2017 # 高性能高可用机票实时搜索系统 去哪儿网 梁启康 ## 议题 系统诉求 海量数据 设计思路 搜索框架 报价引擎 待解问题 ## 系统诉求 - 全网价最低 • 航线报价最全 - 实时性最好 • 产品最丰富 • 预定最流畅 ### 去哪儿？ Qunar 供应商规则量2亿+ • 运价规则1亿+ · 报价量 • 国内国际航线28万 * 航班数 * 产品个数 * 供应商个数 * 180天 = 1500亿 + • 搜索量 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + ## 设计思路 · 最理想的方式 • 所有的报价都实时计算，填充好 • 一个巨大的哈希表 分级缓存 ## 搜索框架 App WWW Touch 分销 应用层 CacheManager PriceMerger Cache 聚合层 MQ MQ 报价引擎 旗舰店 供应商直连 抓取 报价源 航班数据 运价数据 基础数据 ## 搜索框架 · 报价数量多，内存问题 · 报价源多，不稳定 • 响应时间要求苛刻 遇到问题 • 搜索条件有热点 • 缓存报价不准

不会被执行成功。 ### 5. 性能问题 不见使用 VALUES 方式进行单行的插入。如果必须这样使用，请将多行数据合并到一个 INSERT 语句中进行批量提交。 ROUTINE-LOAD ## Baidu 百度智能云文档 例行导入（Routine Load）功能，支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到Doris中。 目前仅支持通过无认证或者 SSL 认证方式，从 1.10| |---|---|---|---| 1 row in set (0.05 sec) - FileNumber：最终生成的文件个数。 • TotalRows：结果集行数。 Baidu 百度智能云文档 • FileSize：导出文件总大小。单位字节。 - URL：如果是导出到本地磁盘，则这里显示具体导出到哪个 Compute Node。 如果执行错误，则会返回错误信息，如： mysql> 临时目录，以及已经生成的文件不会被删除，需要用户手动删除。 - 如果 Export 作业运行成功，在远端存储中产生的 _doris_export_tmp_xxx 目录，根据远端存储的文件系统语义，可能会保留，也可能会被清除。比如在百度对象存储（BOS）中，通过 rename 操作将一个目录中的最后一个文件移走后，该目录也会被删除。如果该目录没有被清除，用户可以手动清除。 - Export 作业只会导出 Base 表的数据，不会导出物化视图的数据。

## 基于Consul的多Beats接入管控与多ES搜索编排 梁成 腾讯云, barryliang@tencent.com ## 拥抱开源、释放云原生的力量 背景与挑战 多Beats/Logstash接入管控 多ES搜索编排系统 日志AIOps探索 ## 背景与挑战 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 如何帮助业务快速排障 " ## 多ES搜索编排系统 提供多ES多索引搜索编排功能，帮助业务快速定位异常 ## 故障定位遇到的困扰 采集 查询延时 高负载 产品 沟通成本 查询效率 多es切换 系统切换 OthersDB ## 案例:非APM场景下多组件日志搜索探索 ![Image](/uploads/documents/2/c/4/c/

1. 操作指导 2. 视频教程 • 3. 指令介绍(API) 4. 常见问题解答 5. 词汇表 6. 超级链小课堂 ## I ndices and tables 索引 模块索引 • 搜索页面 ### 1. 简介 XuperChain是超级链体系下的第一个开源项目，是构建超级联盟网络的底层方案。 其主要特点是高性能，通过原创的XuperModel模型，真正实现了智能合约的并行执行 交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； ### 8. 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约中。 3. 基本运算：支持 andalone快速扩展算子，这些基本运算几乎可以满足用户对任何复杂计算功能的需求。 2. 权限管理：支持数据拥有者对数据所属权和使用权的细粒度管理。 ### 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式，并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 本章节

视频教程 - 3. 指令介绍(API) - 4. 常见问题解答 - 5. 词汇表 - 6. 超级链小课堂 ## I ndices and tables 索引 模块索引 • 搜索页面 ### 1. 简介 XuperChain是超级链体系下的第一个开源项目，是构建超级联盟网络的底层方案。 其主要特点是高性能，通过原创的XuperModel模型，真正实现了智能合约的并行执行 交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； ### 8. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式，并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 本章节 为“消息”）映射到固定大小的二进制串（称之为“散列值”，“散列”或“消息摘要”），并且是单向的功能，即一种实际上不可逆转的功能。理想情况下，查找生成给定哈希的消息的唯一方法是尝试对可能的输入进行暴力搜索，以查看它们是否产生匹配，或使用匹配哈希的彩虹表。 • MD5：摘要长度为128bit，由于容易受到碰撞攻击，目前使用越来越少。 - SHA256：SHA系列哈希算法由美国国家安全局制定，具有多

1. 操作指导 2. 视频教程 • 3. 指令介绍(API) 4. 常见问题解答 5. 词汇表 6. 超级链小课堂 ## I ndices and tables 索引 模块索引 • 搜索页面 ### 1. 简介 XuperChain是超级链体系下的第一个开源项目，是构建超级联盟网络的底层方案。 其主要特点是高性能，通过原创的XuperModel模型，真正实现了智能合约的并行执行 交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； ### 8. 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约中。 3. 基本运算：支持 andalone快速扩展算子，这些基本运算几乎可以满足用户对任何复杂计算功能的需求。 2. 权限管理：支持数据拥有者对数据所属权和使用权的细粒度管理。 ### 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式，并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 本章节

1. 操作指导 2. 视频教程 • 3. 指令介绍(API) 4. 常见问题解答 5. 词汇表 6. 超级链小课堂 ## I ndices and tables 索引 模块索引 • 搜索页面 ### 1. 简介 XuperChain是超级链体系下的第一个开源项目，是构建超级联盟网络的底层方案。 其主要特点是高性能，通过原创的XuperModel模型，真正实现了智能合约的并行执行 交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； ### 8. 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约中。 3. 基本运算：支持 andalone快速扩展算子，这些基本运算几乎可以满足用户对任何复杂计算功能的需求。 2. 权限管理：支持数据拥有者对数据所属权和使用权的细粒度管理。 ### 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式，并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 本章节

|账号与权限|为了满足合约调用的权限控制，保证XuperChain网络的健康运转，自研并实现了一套基于账号的去中心化的合约权限系统。支持权重累计、集合运算等灵活的策略，可以满足不同的业务场景| 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约中。 2. 权限管理：支持 交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； ## 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式，并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善 的账号与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 ## 为“消息”）映射到固定大小的二进制串（称之为“散列值”，“散列”或“消息摘要”），并且是单向的功能，即一种实际上不可逆转的功能。理想情况下，查找生成给定哈希的消息的唯一方法是尝试对可能的输入进行暴力搜索，以查看它们是否产生匹配，或使用匹配哈希的彩虹表。 MD5：摘要长度为128bit，由于容易受到碰撞攻击，目前使用越来越少。 - SHA256：SHA系列哈希算法由美国国家安全局制定，具有多个h