## Tencent腾讯 ## ClickHouse 应用实践 丁晓坤 & 熊峰 ## 目录 • Clickhouse 的部署与监控管理 • Clickhouse 的应用实践 iData ## 1 部署与监控管理 ## 部署与监控管理 ## 高内存，廉价存储： ## 单机配置: Memory128G CPU核数24 SATA20T, RAID5 万兆网卡 ## 部署与监控管理 低 ## 2 业务应用实践 iData ## 业务应用实践 iData ● 游戏数据分析的业务背景 ● iData 数据分析引擎TGMars ● 为什么选用ClickHouse 平台在ClickHouse上的使用 ## 业务应用实践 iData ## 腾讯游戏 数据化驱动服务 场景视图： 游戏数据驱动场景 大数据应用 SaaS系统 ■ 提升原有服务的增强效果 ## 大数据应用PaaS服务 iData大数据分析PaaS 在线实时能力 iData大数据分析：多维分析，画像分析能力 ■ DataMore大数据实时决策能力 ## 大数据基础PaaS平台 标准化、海量数据接入能力 ■ 实时化、低延时对接数据应用 异构化兼容能力 ## 业务应用实践 iData ### 新大数据分析引擎2.0 ## 业界传统 大数据分析

label): for idata in data: if idata[0] < 0.5: # 把小于0.5的值压缩到 [0,1] 之间 idata[0] = idata[0] * 2 if idata[1] < 0.5: # 把小于0.5的值压缩到 [0,1] 之间 idata[1] = idata[1] 之间 idata[1] = (idata[1] - 0.5) * 2.0 + 4.0 label.append(1) else: # 把大于0.5的值压缩到 [4,5] 之间 idata[0] = (idata[0] - 0.5) * 2.0 + 4.0 if idata[1] < 0.5: # 把小于0.5的值压缩到 [0,1] 之间 idata[1] = idata[1] * 2 label.append(2) else: # 把大于0.5的值压缩到 [4,5] 之间 idata[1] = (idata[1] - 0.5) * 2.0 + 4.0 label.append(3)

data section  ### .idata contents Directory Table Directory entry: • DLL Name • ImportLookupTable offset • ImportAddressTable Windows • __declspec(dllexport) – add symbol to .edata • __declspec(dllimport) – does not add to .idata! • That’s achieved by statically linking against an import library • Minor optimization that happens 8604960 • Michael Kerrisk online workshop: https://www.man7.org/training/shlib/index.html ### .idata section layout Directory Table Directory entry (dll info): • ImportLookupTable offset • DLL timestamp

"rb") idata = ifile.read() # put ifile.close() ibuffer = BytesIO(idata) # con try: return PdfReader(ibuffer) # let except: doc = Fitz.open("pdf", idata) # prob prob c = doc.write(garbage = 4) # op doc.close() doc = idata = None # fre ibuffer = BytesIO(c) # con return PdfReader(ibuffer) # let # Main program pdf = reader("pymupdf

PDF reader def reader(fname, password = None): idata = open(fname, "rb").read() # read the PDF into memory and ibuffer = BytesIO(idata) # convert to stream if password is None:

All rights reserved. Dump of file jbackup.exe File Type: EXECUTABLE IMAGE Summary 5000 .data 1000 .idata 1000 .rdata 5000 .text 拿它来观察DOS 程序，则得到这样的结果： 31 C:\UTILITY>dumpbin /summary dsize.exe Microsoft 加载器将必要的码加载到上述地址空间中，包括App.exe 的程序、资料，以及 所需的动态联结函数库（DLLs）。加载器如何知道要加载哪些DLLs 呢？它 们被记录在可执行文件（PE 文件格式）的.idata section 中。 5. 系统为此进程建立一个执行线程，称为主执行线程（primary thread）。执行线程才是 CPU 时间的分配对象。 6. 系统调用C runtime 函数库的Startup