TiDB中文技术文档
晰的了解 TiDB DDL 的内部实现机制 TiDB 服务监听 host 默认: “0.0.0.0” TiDB 服务会监听这个 host 0.0.0.0 默认会监听所有的网卡 address。如果有多块网卡,可以指定对外提供服务的网卡,譬如 192.168.100.113 Log 文件 默认: “” 如果没设置这个参数,log 会默认输出到 “stderr”,如果设置了, log 就会输出到对应的文件里面,在每 景会更慢,消耗更多系统资源。对于外表经过 WHERE 条件过滤后结果集较小(小于 1 万行)的场景,可以尝试使 用。 TIDB_INLJ() 中的参数是建立查询计划时,驱动表(外表)的候选表。即 TIDB_INLJ(t1) 只会考虑使用t1作为 驱动表构建查询计划。 SELECT /*+ TIDB_HJ(t1, t2) */ * from t1,t2 where t1.id = t2.id 提示优化器使用 务端的,则非加密连接容易造成信息泄露,建议使用加密连接确保安全性。 TiDB 服务端支持启用基于 TLS(传输层安全)协议的加密连接,协议与 MySQL 加密连接一致,现有 MySQL 客户 端如 MySQL 运维工具和 MySQL 驱动等能直接支持。TLS 的前身是 SSL,因而 TLS 有时也被称为 SSL,但由于 SSL 协议有已知安全漏洞,TiDB 实际上并未支持。TiDB 支持的 TLS/SSL 协议版本为 TLS 1.0、TLS0 码力 | 444 页 | 4.89 MB | 5 月前303-基于Apache APISIX的全流量API网关-温铭
主动/被动健康检查、服务熔断 不同的云原生下的新功能 • 对接 Prometheus、Zipkin、Skywalking • gRPC 代理和协议转换(REST <=> gRPC) • 身份认证:OpenID Relying Party、OP(Auth0、okta…) • 高性能、无状态、随意扩容和缩容 • 动态配置,不用 reload 服务 • 支持多云、混合云 • 容器优先,Kubernetes 顶级项目 • 全动态:路由、SSL 证书、上游、插件… • 40 多个插件,覆盖:身份认证、安全、日志、可观测性… Apache APISIX 设计思路 • API 网关的数据面和控制面分离 • 通过插件机制来方便二次开发和运维 • 高可用,没有单点故障 • 安全和稳定第一:基于 Nginx 实现;mTLS 认证;敏感信息加密加盐(salt)保存 • 高性能:单核心 QPS 1.5 万,延迟低于 etcd Nginx + postgres ⾼高可⽤用 ⾮非常可靠,没有单点 ⼀一般,有数据库 的单点 精细化路路由 ⽀支持 Nginx 变量量和⾃自 定义函数 固定的⼏几个条件 配置⽣生效时间 事件驱动,⼩小于 1 毫秒 轮询拉取,5 秒 处理理延迟 0.2 毫秒 2 毫秒 性能(单核,开启两个限流和 prometheus插件) 18000 1700 支持流量量复制和故障 是 否 注⼊ 是 否 支持SkyWalking0 码力 | 11 页 | 6.56 MB | 5 月前3Service Mesh结合容器云平台的思考和实践
• 解决微服务化后带来的问题 温饱问题 • 计算资源的快速分配 • 基本的监控 • 快速部署 • 易于分配的存储 • 易于访问的外围(负载均衡) • 服务注册和发现 致富问题 • 认证和授权 • 智能路由 • 流量管理 • 服务降级 • … • 微服务拆分原则 • 业务API设计 • 数据一致性保证 • 可扩展性考虑 • …Kubernetes对于微服务的支撑 Configmap、Secret 负载均衡 简单负载均衡,基于Iptables Roundrobin 流量控制 简单根据服务实例进行控制云平台微服务演进之基于API网关的微服务方案 API网关功能增强 • 安全认证 • 流量控制 • 审计日志 • 黑白名单 • …K8S集群 云平台微服务演进之基于Spring Cloud的微服务方案 NS A Service Zuul Nginx Eureka 智能路由(灰度、蓝绿) • 流量管理(超时、重试、熔断) • 故障处理 • 故障注入 • … Mixer • 前提条件检查:安全认证,黑白名单, ACL检查 • 限流管理 • 遥测报告:日志监控 控制平面 数据平面 Istio-Auth • 服务间认证 • 终端用户认证Istio的核心组件 • Envoy 是一个高性能轻量级代理,它掌控了service的入口流量和出口流量,它提供了很多内置功能,如动态负0 码力 | 28 页 | 3.09 MB | 5 月前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
大模型是一场工业革命,将重塑所有产品和业务。你相不相信? 不拥抱AI的组织和个人,会被拥抱AI的组织和个人淘汰。你相不相信? 建立AI信仰 6政企、创业者必读 大模型不是泡沫,而是新一轮工业革命的驱动引擎 蒸汽革命 电气革命 信息革命 以大模型为代表的 人工智能革命 人工智能是新质生产力的关键支撑技术,人工智能+百业千行将带动新一轮工业革命,为高质量发展注入强大动能 大模型的进一步突破将 从基于小参数模型的感知型AI,走向基于大参数模型的认知型AI 从擅长理解的认知型AI,发展到擅长文字生成的生成式AI 从语言生成式AI,发展到可理解和生成声音、图片、视频的多模态AI 从生成式AI,发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9政企、创业者必读 人工智能发展历程(二) 从单纯对话的大模型AI,发展到具有行动和执行能力的智能体AI 从数字空 Deepmind的Alpha系列产品是这一趋势的最佳诠释 16政企、创业者必读 DeepSeek出现之前的十大预判 之四 模型越做越小 17 大模型进入「轻量化」时代,上车上终端,蒸馏小模型 先做得更大,然后探索能做多小政企、创业者必读 DeepSeek出现之前的十大预判 之五 知识的质量和密度决定大模型能力 高质量数据、合成数据使模型知识密度的快速增长 大模型能以更少的参数量达到更高的性能 360 码力 | 76 页 | 5.02 MB | 5 月前3TGT服务器的优化
支持复杂的存储系统,例如ceph rbd, sheepdog, glfs • 纯C代码,外加一些脚本 • 完整的源代码和维护工具、手册 • 编写IO驱动比较容易,容易扩展支持新的存储系统 • 代码独立,容易编译、调试、修改,适应性强让TGT支持curve • 编写curve驱动,底层异步提交I/O,pipeline • 利用NEBD PART 1接口,需要与nebdserver运行在同一台机器 • 支持共 • 已经修改TGT,让驱动可以声明自己是否支持DPO & FUA • 由于增加的Curve 驱动没有本地cache,所以DPO & FUA可以turn on. • sd 0:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA • 这个对于curve驱动,Linux Init Initiator的dmesg不会显示这个信息TGT的性能问题 • 性能问题主要体现在不能有效使用多CPU • 对多个socket connection,在单线程里做event loop多路复用。 • 多个target时,如果挂的设备多,一旦客户端请求量大,就会忙不过来。 • 开源界有尝试修改 • 例如sheepdog的开发者提交过一个patch,但是测试效果不理想,分析 原因,event loop依然是瓶颈对TGT的性能优化0 码力 | 15 页 | 637.11 KB | 5 月前324-云原生中间件之道-高磊
调 上 线 前 解 决 一 切 问 题 , 某 一 环 节 堵 塞 影 响 全 局 D e v O p s 效 率 。 依 赖 于 人 员 个 人 经 验 来 先 验 的 进 行 实 施 , 而 很 多 入 侵 风 险 是 不 可 预 知 的 ! 标准化能力-承载无忧-E2E云原生纵深安全保障-3-与传统安全方案的差 异 安全问题左移一个研发阶段,修复成本就将 提升十倍,所以将安全自动化检查和问题发 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差 集成能力强,多模 态接口,兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点,使得应用场 景会更加广泛 高级能力-云原生数据库-应用的基石-2-技术架构 等等都需要同时满足(和传统CAP相悖) • 接入层需要能够根据规则的路由,以及兼容各类协议接 口以及数据模型,并能根据应用的规模来自动拓展。 • 实现HTAP(OLTP+OLAP),将在线事务|分析混合计算模型 基础上,实现多模数据模型,使得集成成本经一步降低。 • 计算层,与存储彻底剥离开来,实际是微服务化架构, 可以自由伸缩,并自动故障转移,采用读写分离,适应 高负荷的场景。另外也需要进一步将计算和内存分离出 来,使得0 码力 | 22 页 | 4.39 MB | 5 月前3人工智能安全治理框架 1.0
的标准接口、特性库和工具包,以及开发界面和执行平台可能存在逻辑缺陷、- 5 - 人工智能安全治理框架 漏洞等脆弱点,还可能被恶意植入后门,存在被触发和攻击利用的风险。 (b)算力安全风险。人工智能训练运行所依赖的算力基础设施,涉及多源、 泛在算力节点,不同类型计算资源,面临算力资源恶意消耗、算力层面风险跨 边界传递等风险。 (c)供应链安全风险。人工智能产业链呈现高度全球化分工协作格局。 但个别国家利用技术垄断和出口管制等单边强制措施制造发展壁垒,恶意阻断 等未经标识,导致用户难以识别交互对象及生成内容来源是否为人工智能系统, 难以鉴别生成内容的真实性,影响用户判断,导致误解。同时,人工智能生成 图片、音频、视频等高仿真内容,可能绕过现有人脸识别、语音识别等身份认 证机制,导致认证鉴权失效。 (c)不当使用引发信息泄露风险。政府、企业等机构工作人员在业务工 作中不规范、不当使用人工智能服务,向大模型输入内部业务数据、工业信息, 导致工作秘密、商业秘密、敏感业务数据泄露。 可控性等,定期进行系统审计,加强风险防范意识与风险应对处置能力。 (c)重点领域使用者在使用人工智能产品前,应全面了解其数据处理和 隐私保护措施。 (d) 重点领域使用者应使用高安全级别的密码策略,启用多因素认证机 制,增强账户安全性。 (e)重点领域使用者应增强网络安全、供应链安全等方面的能力,降低 人工智能系统被攻击、重要数据被窃取或泄露的风险,保障业务不中断。 (f) 重点领域使用者应合理限制人工智能系统对数据的访问权限,制定0 码力 | 20 页 | 3.79 MB | 28 天前3Service Mesh是下一代SDN吗:从通信角度看Service Mesh的发展
在实践中,服务网格通常实 现为一组轻量级网络代理,它们与应用程 序一起部署,但对应用程序透明。什么是Service Mesh?- by Istio 服务发现 负载均衡 流量控制 ... 黑白名单 限流 ... 身份认证 通信加密 权限控制 ... 调用追踪 指标收集 ...什么是Service Mesh?- 从网络的视角 Service Mesh关注点 网络视角: Service Mesh是一个主要针对七层的 收集产品化增强-支持多网络平面 电信系统一般会有多个网络平面的,主要原因包括:避免不同功能的网络之间的 相互影响; 网络设计冗余,增强系统网络的健壮性; 为不同的网络提供不同的 SLA ;通过网络隔离提高安全性;通过叠加多个网络增加系统带宽 上图中的Kubernets集群使用了Knitter网络插件,部署了四个网络平面产品化增强-支持多网络平面 Istio1.0中不支持多网络平面,当服务地址 this Node This is an outbound request, it should be send out to 10.75.8.101产品化增强-支持多网络平面 我们对Istio的代码进行了改造,增加了多网络平面支持。 Pilot Service Registry Envoy Service A Register service (IP :10.75.8.101)0 码力 | 27 页 | 11.99 MB | 5 月前3分布式NewSQL数据库TiDB
在以下缺点:资源利⽤率低、维护成本⾼、RTO (Recovery Time Objective) 及 RPO (Recovery Point Objective) ⽆法真实达到企业所期望的值。TiDB 采⽤多副本 + Multi-Raft 协议 的⽅式将数据调度到不同的机房、机架、机器,当部分机器出现故障时系统可⾃动进⾏切换,确保系统的 RTO <= 30s 及 RPO = 0。 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 14/120 ⼯具将数据同步到 OLAP 型数据库进⾏数据分析,这种处理⽅案存在存储成本⾼、实时性差等多⽅⾯的问题。TiDB 在 4.0 版本中引⼊列存储引擎 TiFlash 结合⾏存储引擎 TiKV 构建真正 的 HTAP 数据库,在增加少量存储成本的情况下,可以在同⼀个系统中做联机交易处理、实时数据分析,极⼤地节省企业的成本。 UCloud 优刻得 45/120 systemctl start nginx 访问 访问 根据您配置的代理端⼝,在浏览器中访问对应服务 访问 Dashboard和Grafana时需要root账⼾登录认证 dashboard Dashboard/监控访问 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 46/120 grafana Dashboard/监控访问0 码力 | 120 页 | 7.42 MB | 5 月前3网易云Service Mesh的产品架构与实现
术大会,Segmentfault 开发者大会,InfoQ全球架构师峰会(明星讲师),CSDN SDCC大 会,51CTO WOTA大会等 • 知名技术博主,博客可搜索popsuper1982,多篇文章推荐至全 球最大IT社区CSDN首页及《程序员》杂志 • 在工作中积累了大量运营商系统,互联网金融系统,电商系统等 容器化和微服务化经验01 目录 02 03 微服务与Docker、Kubernetes en-spencer/ Kaola163yun.com 开发独立: 代码耦合度比较高,修改代码通常会对多个模块产生影响,操控难度大,风险高 上线独立: 单次上线需求列表多,上线时间长,影响面大 简化扩容: 由于业务多,每一次扩容需要增加的配置比较杂。一些不起眼的小业务虽然不是扩容的主要目 的,也需要慎重考虑 容灾降级:核心业务与非核心业务耦合,在关键时候互相影响 微服务拆分微服务架构要点 + OpenStack + DevOps工具链网易云容器服务架构www.163yun.com 容器管理平台本身也是微服务 所有的多租户容器请求入口流量 对接多个业务:OpenStack, Kubernetes,所有PaaS,持 续集成,镜像仓库,计费,用 户,认证,…… 高可用,横向扩展 熔断,限流,降级 负载均衡,路由 监控,统计 可靠消息163yun.com0 码力 | 35 页 | 6.33 MB | 5 月前3
共 65 条
- 1
- 2
- 3
- 4
- 5
- 6
- 7