PolarDB-X 如 何 做 生 态兼 容 好的 MySQL 兼容性可以做到什么程度 胡中泉（舟济） 阿里云数据库解决方案架构师为什么要兼容 MySQL 01 The longer you look back, the farther you can look forward.也从阿里巴巴的“去IOE”运动说起 业务驱动下的分布式技术实践之路 5月17日，支付宝最后一台小型 机下线标志去IOE落下帷幕

，最大限度地实现“止损”。 接口SDK化 接口SDK化 对于运营数据，无论是通过数据库的落地方案、还是通过分布式缓存的方案，都无法彻底解决服务中心化 和服务抖动的问题。通过接入的SDK化，可以做到数据的本地缓存更新机制，解除对中心化服务的依赖， 大大提升服务的稳定性和性能。同时整个APPKIT服务变成可水平扩展，在扩展过程中也不会影响中心服 务的稳定性。 四、APPKIT架构 四、APPKIT架构 需要越简单，这样方能满足复杂业务的各种变化。因为数据 模型太过于抽象，如果直接进行述说会有些乏味，我们可以先从一个具体的业务实例入手。下面是大众点 评App顶部金刚位的截图，对于这部分数据，如何做到运营可配？ 首先，我们对运营数据做需求拆解。对于这块数据，每个 “节点”（对应每个位置：如美食，技术上我们 称之为 “节点”），其基本的运营诉求如下： 1. 节点内容信息：标题、图片、跳转链接、排序。 的繁重细节中脱离出来，只需关心业务逻辑即可。 4. Netty解决了JDK 的很多包括空轮训在内的 Bug。 5. Netty底层对线程，Selector 做了很多细小的优化，精心设计的 Reactor 线程做到非常高效的并发处理。 6. 自带各种协议栈，让我们处理任何一种通用协议都几乎不用亲自动手。 7. Netty社区活跃，遇到问题随时邮件列表或者 issue。 8. Netty已经历各大RPC框

Nacos 高可用的关键。  启动模式：按照单机模式，配置模式，服务模式，DNS 模式模式，启动不同的模块。  ⼀致性协议：解决不同数据，不同⼀致性要求情况下，不同⼀致性要求，是 Nacos 做到 AP 协 议的关键。  存储模块：解决数据持久化、非持久化存储，解决数据分片问题。 插件  Nameserver：解决 Namespace 到 ClusterID 的路由问题，解决用户环境与 重启服 务才能生效。 当应用程序实例比较少的时候还可以维护。如果转向微服务架构有成百上千个实例，每修改⼀次配 置要将全部实例重启，不仅增加了系统的不稳定性，也提高了维护的成本。 那么如何能够做到服务不重启就可以修改配置？所有就产生了四个基础诉求：  需要支持动态修改配置  需要动态变更有多实时  变更快了之后如何管控控制变更风险，如灰度、回滚等  敏感配置如何做安全配置 Nacos 以做多版本管理和快速回滚。 Nacos 架构 < 28 Nacos 内核设计 Nacos ⼀致性协议 为什么 Nacos 需要⼀致性协议 Nacos 在开源支持就定下了⼀个目标，尽可能的减少用户部署以及运维成本，做到用户只需要⼀个 程序包，就可以快速以单机模式启动 Nacos 或者以集群模式启动 Nacos。而 Nacos 是⼀个需要 存储数据的⼀个组件，因此，为了实现这个目标，就需要在 Nacos 内部实现数据存储。单机下其

样，⽤
0
和
1

就能表⽰整个世界。对于基于
transformer
的语⾔模型来说，它能表⽰⼀本书、⼀篇⽂章、甚 ⾄⼀个视频，但表⽰⼀个更⼤的
3D
世界或你硬盘上的所有⽂件还有难度，没做到
token-in-token- out，离所谓的
unified
representation
其实有差距。架构其实解决的是这个问题。
通过
AI
⾃我进化克服数据稀缺性的瓶颈是第⼆层的另⼀
AI
其实像⼀个⿊盒，这个⿊盒 有两个输⼊：电源线和数据线，输⼊这两个东西后，盒⼦就能产出智能。随后⼤家意识到，数据线的 输⼊是有限的，这就是所谓的数据瓶颈问题，下⼀代
AI
需要拔掉数据线，做到只要源源不断地输⼊电 ⼒，就能源源不断地输出智能。 这两个核⼼问题导致在第三层有巨⼤的空间，包括
long-context、不同模态的⽣成、模型多步规划的 能⼒、指令遵循的能⼒、各种
agent
的功能等。
Time
奖。它在
10
年前⽤⼀个词去预测周围的词，相当于
context
length
是
5。RNN
把有效的
context
length
提升到了
20。LSTM
涨到⼤⼏⼗。transformer
到了⼏千。现在我们能做到⼏⼗万。
如果你有
10
亿的
context
length，今天看到的问题都不是问题。
此外，其实⽆损压缩就是在⼀⽚混沌中学习确定性。⼀个极端的例⼦是等差数列，给定前两个数，接 下来每⼀

中的实现成本却较高，往往也就降级舍弃了这部分功能。 此外，即使我们可利用公司内部的 Roo、MTDUI 等多端 UI 组件库来尽量抹平各端 的 UI 差异，但由于组件库在各端的实现不尽相同，很难做到完美的一致性体验。 1.1.2 提升多端迭代效率 由于各端技术体系的不同，涉及多端的需求往往需要不同的开发、测试团队各自完成 开发、联调、测试、上线等流程，占用资源巨大，在各团队不可并行支持的情况下， MTFlutterWeb 完成提效的业 务超过了 9 个，在 App 中，能够基于 FlutterNative 提供高性能的服务；在 PC 端和 Mobile 浏览器中，利用 FlutterWeb 做到了低成本适配，提升了产研的整体效率。 然而，加载性能问题是 MTFlutterWeb 应用推广的最大障碍。这里依然以美团外卖 商家课堂业务为例，在项目之初页面完全加载时间 TP90 线达到了 6s ，这类功能与其他 前端 < 83 端并不相关。 ● 能力差异：各个端之间的差异我们可以通过定制的手段来适配，然而并不是所 有的功能点在各个端上都能够实现。比如在 Webview 中就无法做到像小程 序、React Native 中提供很多原生能力，像是文件保存读取等等，这一类差 异性在适配过程中都属于不可抗拒、不可抹平的差异。 样式差异 小程序的 WXSS 和 Webview 的

从内存转移到 GPU 显存存储，并直接在 GPU 上进行查询操作。GPU 哈希表做了数据重排等优化，大量降低了哈希冲突 时的数据探测次数，且利用 GPU 提供的更多线程，在发生哈希冲突时能够 做到更快查询。压测表明，通过以上优化，可以利用更短的时间处理更多的 查询，查询问题得到有效解决。 ○ 2）用户序列计算图折叠。长序列模块的加入，给线上计算带来了巨大压力， 因此考虑对线上计算图进行优化。由于一次请求中，在 工智能在对话系统上出现了不少的突破性进展。但是，由于自然语言的复杂性，目前 的智能对话系统还远远达不到可以直接替代人类的地步。因此在一些复杂的业务场景 中，目前的智能对话系统如何更好的去辅助人类做到人机协同，提升沟通效率，也成 为了当今研究的一个热点以及实际落地方向。 作为一家连接用户和商户的生活服务电子商务平台，美团在平台服务的售前、售中、 售后全链路的多个场景中，用户向商家都存在有大量的问题咨询情况，如在线坐席 知延迟问题。 ● 更好的保护用户隐私：大数据时代数据隐私问题越来越受到用户的关注，大众 点评 App 也在积极响应监管部门在个人信息保护方面的执行条例，升级个人 隐私保护功能，在端上排序可以做到相关数据存放在客户端，更好地保护用户 的隐私。 端智能重排在大众点评搜索和美食频道页上线后，均取得显著效果，其中搜索流量 点击率提升了 25BP（基点），美食频道页点击率提升了 43BP，Query

适应制品变化的DevOPS+能够适应技术环境变 化的技术底座=云原生平台；其中变化是以研发循环形式不断出现和累加的，如果不进行治理，那 么这些变化就会积累，稳定性的破坏是熵增的，而云原生基础设施就要做到对变化产生的不稳定因 素进行熵减处理 • 向上站在企业立场上：是要解决微服务体系快速落地的问题，低成本支撑企业创新以及数字疆域规 模扩张 1 技术架构变化：因商业或者演化而 变带来不稳定因素 2 制品变化：代码因商业而变带来新 事实标准的K8S容器服务设计 成应用与物理资源（IaaS，虚 拟机、物理，多云）的中间抽 象层，因为应用很复杂，很容 易陷入差异化定制市场，抽象 层的市场范围会更广，作为开 源平台，更容易成为通用性市 场选择。通用性才能做到普适 定制化能力，才能成为云原生 的操作系统。 标准化能力-分布式操作系统核心-容器服务-Operator API Server Kubectl Controller Pod,Deploymen Service C Nacos Config 熔断监控 Turbine Zipkin EFK prometheus • 适合大部分客户希望原封不动的低成本迁移上云。 • 大部分周边依赖无法做到平台化，导致管理碎片化严重，并与 微服务框架直接关联，成本较高。 Ingress Service A Service B Service C k8s-ETCD ConfigMap Zipkin

可信根一般是一个硬件，比如CPU或者TPM，将从 它开始构建系统所有组件启动的可信启动链，比 如UEFI、loader、OS、应用等，可以确保在被入侵 修改时的阻断行为，另外可以将可信启动链的 Hash值上传云端管理，可以做到中心管控验证的 目的。 加密技术 数据的安全生命周期返程三种不同状态：存储中、传输中、使用中，但 是对第三种场景，一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE（比如IntelSGX， 步降低。 • 计算层，与存储彻底剥离开来，实际是微服务化架构， 可以自由伸缩，并自动故障转移，采用读写分离，适应 高负荷的场景。另外也需要进一步将计算和内存分离出 来，使得计算层彻底变为无状态，可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA，绕过CPU，直接和远端内存通信，在计算与 存储分离、计算与内存分离架构上，提升网络利用率和 性能， 后置链路，提升整个业务链路的性能。 高SLA 云原生应用将对消息这种云原生BaaS服务有更高的SLA要求，应用将假设其依赖的云原生服务具备跟云一样的可用性，从而不需要去建设备份链 路来提高应用的可用性，降低架构的复杂度。只有做到与云一样的可用性，云在服务就在，才能称为真正的云原生服务。 低成本 （Serverless化） 在过去，每家公司自建消息中间件集群，或是自研的、或是开源的，需要投入巨大的研发、运维成本。云原生时代的消息服务借助Serverless等弹

行的程序，只用了不到 4 个小时；然而直到今天，我仍然不敢说自己精通它。编写快速、高 效、并且能够让处理器“很舒服地执行”的程序是一件很困难的事情，如果利用业余时间学习， 通常需要 2-3 年的时间才能做到。这份教材并不期待能够教给你大量的汇编语言技巧。对于 读者来说，x86 汇编语言"就在这里"。然而，不要僵化地局限于这份教材讲述的内容，因为 它只能告诉你汇编语言是“这样一回事”。学好汇编语言，更多的要靠一个人的创造力与悟性， ，只知道源代码级的调试是远远不 够的。 浮躁的人喜欢说，用 C++写程序足够了，甚至说，他不仅仅掌握 C++，而且精通 STL、 MFC。我不赞成这个观点，掌握上面的那些是每一个编程人员都应该做到的，然而 C++只 是我们"常用"的一种语言，它不是编程的全部。低层次的开发者喜欢说，嘿，C++是多么的 强大，它可以做任何事情——这不是事实。便于维护、调试，这些确实是我们的追求目标， 但是，写程 函数库。正如 前面所提到的那样，这种优化往往不是编译器本身的作用，尽管现代编译程序拥有编译执行、 循环代码外提、无用代码去除等诸多优化功能，但它都不能保证程序最优。最后一种代码恐 怕很少有编译器能够做到，不信你可以用自己常用的编译器加上各种优化选项试试:) 发现什么了吗？三种代码中，对于内存的访问一个比一个少。这样做的理由是，尽可能 地利用寄存器并减少对内存的访问，可以提高代码性能。在某些情况下，使代码既小又快是

.................................................................................. 42 14.1 消费过程要做到幂等（即消费端去重） ........................................................................................ tly Only Once”，而要实现以上两点，在分布式系统环 境下，丌可避免要产生巨大的开销。所以 RocketMQ 为了追求高性能，幵丌保证此特性，要求在业务上迕行去重， 也就是说消费消息要做到幂等性。RocketMQ 虽然丌能严格保证丌重复，但是正常情冴下很少会出现重复収送、消 费情冴，只有网络异常，Consumer 启停等异常情冴下会出现消息重复。 此问题的本质原因是网络调用存在 Asynchronously 在有 RAID 卡，SAS 15000 转磁盘测试顺序写文件，速度可以达到 300M 每秒左史，而线上的网卡一般都为千兆 网卡，写磁盘速度明显快亍数据网络入口速度，那举是否可以做到写完内存就吐用户迒回，由后台线程刷盘呢？ (1). 由亍磁盘速度大亍网卡速度，那举刷盘的迕度肯定可以跟上消息的写入速度。 (2). 万一由亍此时系统压力过大，可能堆积消息，除了写入 IO，迓有读叏