ClickHouse 应用实践 丁晓坤 & 熊峰 一切以用户价值为依归 2 • Clickhouse 的部署与监控管理 • Clickhouse 的应用实践 iData 目录 部署与监控管理 一切以用户价值为依归 3 1 4 部署与监控管理 1 高内存，廉价存储： 单机配置: Memory128G CPU核数24 SATA20T，RAID5 万兆网卡 一切以用户价值为依归 高 低 一切以用户价值为依归 业务应用实践 iData 14 2 一切以用户价值为依归 15 业务应用实践 iData 2 一切以用户价值为依归 l 游戏数据分析的业务背景 l iData 数据分析引擎TGMars l 为什么选用ClickHouse l 平台在ClickHouse上的使用 16 业务应用实践 iData 2 腾讯游戏 数据化驱动服务 场景视图： TGlog 精细化 运营 … iData 大数据分析PaaS 实时 分析 多维 分析 画像 分析 … DataMore 大数据应用PaaS 实时 决策 任务 系统 … 排 行 榜 大数据应用 SaaS系统 iData 用户画像 DataMore 月光宝盒 DataMore 任务系统 iData 数据可视化 游 谱 游戏说 神秘 商店 iData 多维提取 … 游戏数据

数据与网络训练 f o r idata in data : i f idata [ 0 ] < 0 . 5 : # 把 小 于0 .5 的 值 压 缩 到 [ 0 , 1 ] 之 间 idata [ 0 ] = idata [ 0 ] ∗ 2 i f idata [ 1 ] < 0 . 5 : # 把 小 于 0 .5 的 值 压 缩 到 [ 0 , 1 ] 之 间 idata [ 1 ] = idata idata [ 1 ] ∗ 2 l a b e l . append (0) e l s e : # 把 大 于 0 .5 的 值 压 缩 到 [ 4 , 5 ] 之 间 idata [ 1 ] = ( idata [ 1 ] − 0.5) ∗ 2.0 + 4.0 l a b e l . append (1) e l s e : # 把 大 于0 .5 的 值 压 缩 到 [ 4 , 5 ] 之 间 idata [ 0 ] = ( idata [ 0 ] −0.5) ∗2.0 + 4.0 i f idata [ 1 ] < 0 . 5 : # 把 小 于 0 .5 的 值 压 缩 到 [ 0 , 1 ] 之 间 idata [ 1 ] = idata [ 1 ] ∗ 2 l a b e l . append (2) e l s e : # 把 大 于 0 .5 的

calls are typically indirect – carry a virtual-call overheadWindows 8binary … .idata Import data section 9.idata contents Directory Table Directory entry: • DLL Name • ImportLookupTable offset • … … https://learn.microsoft.com/en-us/windows/win32/debug/pe-format#the-idata-section 10 * Actually in section .rdata… .idata lib1: f1, f2, f3 lib2: g1, g2, g3 Windows Schematic Interface 11Linux symbol names 13lib1, lib2 f1, f2, f3, g1,g2,g3 … code data .dynamic .dynsim … code data .idata lib1: f1, f2, f3 lib2: g1, g2, g3 14Interposition • Overriding a symbol in one binary from another

reader(fname): ifile = open(fname, "rb") idata = ifile.read() # put in memory ifile.close() ibuffer = BytesIO(idata) # convert to stream try: doc = fitz.open("pdf", idata) # open and save a corrected c = doc.write(garbage = 4) # version in memory doc.close() doc = idata = None # free

------------------- def reader(fname, password = None): idata = open(fname, "rb").read() # read the PDF into memory and ibuffer = BytesIO(idata) # convert to stream if password is None: try: return

rights reserved. Dump of file jbackup.exe File Type: EXECUTABLE IMAGE Summary 5000 .data 1000 .idata 1000 .rdata 5000 .text 拿它来观察DOS 程序，则得到这样的结果： 31 C:\UTILITY>dumpbin /summary dsize.exe Microsoft 加载器将必要的码加载到上述地址空间中，包括App.exe 的程序、资料，以及 所需的动态联结函数库（DLLs）。加载器如何知道要加载哪些DLLs 呢？它 们被记录在可执行文件（PE 文件格式）的.idata section 中。 5. 系统为此进程建立一个执行线程，称为主执行线程（primary thread）。执行线程才是 CPU 时间的分配对象。 6. 系统调用C runtime 函数库的Startup

([]string, error) { 247 pe64 := f.Machine == IMAGE_FILE_MACHINE_AMD64 248 ds := f.Section(".idata") 249 if ds == nil { 250 // not dynamic, so no libraries 251 return nil, nil