-
## 深度揭秘Greenplum开源数据库 透明加密
Greenplum 研发工程师
王湯舟
1. 我们所面临的问题
2. 基于pgcrypto的数据加密方案
3. GPDB数据透明加密方案设计
4. GPDB数据透明加解密流程
5. 总结
## 我们所面临的问题
## 什么是Greenplum数据库 GPDB
一款开源的HTAP数据库:
• MPP架构
完整的事务+ACID+标准SQL支持 GPDB的数据安全 用户的问题
数据需要加密
• 机密数据
• 知识产权保护
• 审计要求
用户数据存在直接暴露的风险
• 非部门员工运维(原厂,主机厂或者合作伙伴)
• 事后审计难度很大
• 服务器数据被盗(托管或云部署)
## 现有解决方案
基于操作的系统的硬盘加密
• 只能防范服务器硬盘被盗
• 对运维安全无能为力
基于pgcrypto的加密
• 可以满足数据安全要求
• • 非原生方案
• 问题很多
## 基于pgcrypto的数据加密方案
## pgcrypto
Postgresql社区提供的一款简单加密插件
https://www.postgresql.org/docs/13/pgcrypto.html
https://github.com/greenplum-db/gpdb/tree/master/contrib/pgcrypto
现有解决方案
数据加载
0 码力 |
48 页 |
10.19 MB
| 2 年前 3
-
Fail”的弊病显现,也因此引发了一系列的技术变革与商业变革,启动了一轮从“集中式”走向“分布式”的时代浪潮。
在此背景下,区块链技术在2008年萌芽成型,并逐渐发展成熟。通过区块链技术解决方案中的共识机制、分布式账本、加密算法、智能合约、点对点通信、分布式计算架构、分布式存储、隐私保护算法、跨链协议等技术模块,可以让商业模式中的参与各方实现了地位对等和互信合作,从而推动了从“信息互联网”到“信任互联网”的时代进步,也令商业模式全面走向“分布式”成为可能。 平台通过节点准入控制、可靠的密钥管理、灵活的权限控制,在应用、存储、网络、主机层实现全面的安全保障。在隐私保护的设计上,支持权限管理、物理隔离,支持国密算法(国家密码局认证的标准算法),同时也对外开源了包括同态加密、零知识证明、群签名、环签名等多种隐私保护算法的实现方案。
在可用性方面,FISCO BCOS设计为7×24小时运行,达到金融级高可用性。在监管支持方面,可支持监管和审计机构作为观察节点加入,获 更多关于虚拟机的介绍,请参考虚拟机设计文档
### 2.8 密钥管理服务
2.0版本对落盘加密进行了重塑升级,开启落盘加密功能时,依赖KeyManager服务进行密钥管理,安全性更强。
KeyManager在Github开源发布,节点与KeyManager的交互协议是开放的,支持机构设计实现符合自身密钥管理规范的KeyManager服务,比如采用硬件加密机技术。该部分更详细的文档请参考使用文档和设计文档
### 2.9
0 码力 |
442 页 |
7.23 MB
| 2 年前 3
-
用解决方案
2016年发布的《隐私计
算概念被提出
令集扩展,提供软硬件算研究范畴及发展趋势》
一体的可信执行环境
首次提出了隐私计算概念
2009年Gentry首
算法
次提出了全同态
2016年谷歌提出联
2021年国内正式提
邦学习,解决安卓
出了隐私计算+区
手机终端用户的联
块链,并达成业内
合模型训练
共识
## 隐私计算技术分类
- 安全多方计算
纯密码学技术实现数据的可用不可见 矩阵运算
支撑技术
集合运算
比较排序
同态加密
↑
↑
↑
加解密
哈希
秘钥交换
差分隐私
伪随机函数
秘密分享
不经意传输
OPRF协议
## 03 构建隐私计算算法框架的实践
## 隐私集合求交算法示例
算法定义:基于Diffie-Hellman密钥交换思想,求双方集合的交集,保护交集之外的数据
秘钥K,公共参数N,加密函数 $ f_{K}(x) = x^{K} ..,\mathrm{a}_{\mathrm{n}}\} $$
数据集
$$ B=\{b_{1},b_{2},...,b_{n}\} $$
1.1 随机生成秘钥p,公共参数N
1.2 加密数据集A的每个元素
$$ \mathrm{f}_{\mathrm{p}}(\mathrm{A})=\{\mathrm{f}_{\mathrm{p}}\big(\mathrm{a}_{1}\big)
0 码力 |
37 页 |
6.20 MB
| 2 年前 3
-
户部署合约和创建、插入、删除和更新用户表的权限。
- 支持国密算法:支持国密加密、签名算法和国密通信协议。
- 落盘加密方案:支持加密节点落盘数据,保障链上数据的机密性。
- 密钥管理方案:在落盘加密方案的基础上,采用KeyManager服务管理节点密钥,安全性更强。
- 同态加密、群环签名:链上提供了同态加密、群环签名接口,用于满足更多的业务需求。
## 1.6 可运维性
联盟链系统中,区块链的运维至关重要,FISCO 更多关于虚拟机的介绍,请参考虚拟机设计文档
## 2.1.8 密钥管理服务
2. 0版本对落盘加密进行了重塑升级,开启落盘加密功能时,依赖KeyManager服务进行密钥管理,安全性更强。
KeyManager在Github开源发布,节点与KeyManager的交互协议是开放的,支持机构设计实现符合自身密钥管理规范的KeyManager服务,比如采用硬件加密机技术。该部分更详细的文档请参考使用文档和设计文档
## 2.1 - P2P模块添加读写idle检查的逻辑
修复
- 解决gcc9和clang12编译报错的问题
- Precompiled合约报错信息写入到回执中,给出更明确的报错提示
- 优化落盘加密,解决落盘加密模式下,存储空间占用大的问题
- 修复MacOS系统下CachedStorage清理缓存导致节点宕机的问题
- 修复MySQL存储模式下,CNS合约名过长导致区块提交异常的问题
## 兼容性
0 码力 |
1422 页 |
91.91 MB
| 2 年前 3
-
户部署合约和创建、插入、删除和更新用户表的权限。
• 支持国密算法:支持国密加密、签名算法和国密通信协议。
• 落盘加密方案:支持加密节点落盘数据,保障链上数据的机密性。
• 密钥管理方案:在落盘加密方案的基础上,采用KeyManager服务管理节点密钥,安全性更强。
- 同态加密、群环签名:链上提供了同态加密、群环签名接口,用于满足更多的业务需求。
### 1.5 可运维性
联盟链系统中,区块链的运维至关重要,FISCO 全面升级:参考安装搭建新链,重新向新节点提交所有历史交易,升级后节点包含v2.3.0新特性
• v2.3.0 Release Note
#### 2.2.1 变更描述
## 新特性
- 同态加密:链上支持同态加密功能,启用该功能可参考这里
- 群环签名:链上支持群签名验证和环签名验证,并提供群环签名服务端和客户端 Demo,实现群环签名机构内生成、上链和链上验证功能
• rPBFT:基于PBF AMOP协议支持多播
• AMOP协议支持二进制传输
• JSON-RPC getTotalTransactionCount接口新增历史失败交易数统计
## 更新
• RocksDB模式支持落盘加密
- 使用TCMalloc优化内存使用
## 修复
• 修复P2P模块偶现不处理消息的问题
- 修复MySQL或External模式下未赋值字段,查询失败
- 修复某些极端场景下同步错误的问题
0 码力 |
470 页 |
7.45 MB
| 2 年前 3
-
户部署合约和创建、插入、删除和更新用户表的权限。
· 支持国密算法:支持国密加密、签名算法和国密通信协议。
• 落盘加密方案:支持加密节点落盘数据,保障链上数据的机密性。
• 密钥管理方案:在落盘加密方案的基础上,采用KeyManager服务管理节点密钥,安全性更强。
- 同态加密、群环签名:链上提供了同态加密、群环签名接口,用于满足更多的业务需求。
### 1.6 可运维性
联盟链系统中,区块链的运维至关重要,FISCO
• MySQL存储模式下,合约表的字段类型修改为mediumblob
· 国密模式由编译选项修改为配置项
- 更改节点只接受同一机构的SDK连接,可配置是否启用
• 默认开启Paillier同态加密和群签名功能
• build chain脚本使用私钥为secp256k1的根证书和机构证书
• PBFTBackup的存储由LevelDB修改为RocksDB
• 重构libdevcrypt 全面升级:参考安装搭建新链,重新向新节点提交所有历史交易,升级后节点包含v2.3.0新特性
• v2.3.0 Release Note
#### 2.3.1 变更描述
新特性
- 同态加密:链上支持同态加密功能,启用该功能可参考这里
- 群环签名:链上支持群签名验证和环签名验证,并提供群环签名服务端和客户端 Demo,实现群环签名机构内生成、上链和链上验证功能
• rPBFT:基于PBF
0 码力 |
540 页 |
8.77 MB
| 2 年前 3
-
tr>
| 哈希算法 | Keccak256、SM3 |
| 对称加密算法 | AES、SM4 |
| 非对称加密算法 | ECDSA、SM2 |
| 非对称加密椭圆曲线 | secp256k1、sm2p256v1 |
| 安全控制 |
| 整体架构 |
| 存储安全 | 支持落盘数据加密存储 |
| 通信安全 | 支持全流程SSL |
| 准入安全 | 基于PKI身份认证体系 |
隐私保护
| 物理隔离 | 群组间数据隔离 |
| 隐私保护协议 | 支持群签名、环签名、同态加密 |
| 场景化隐私保护机制 | 基于WeDPR支持隐匿支付、匿名投票、匿名竞拍、选择性披露等场景 |
0 码力 |
2378 页 |
204.39 MB
| 2 年前 3 -
d>对称加密算法 | AES、SM4 |
| 非对称加密算法 | ECDSA、SM2 |
| 非对称加密椭圆曲线 | secp256k1、sm2p256v1 |
| 安全控制 |
| 存储安全 | 支持落盘数据加密存储隐私保护 |
| 物理隔离 | 群组间数据隔离 |
| 隐私保护协议 | 支持群签名、环签名、同态加密 |
| 场景化隐私保护机制 | 基于WeDPR支持隐匿支付、匿名投票、匿名竞拍、选择性披露等场景 |
户部署合约和创建、插入、删除和更新用户表的权限。
- 支持国密算法:支持国密加密、签名算法和国密通信协议。
• 落盘加密方案:支持加密节点落盘数据,保障链上数据的机密性。
- 密钥管理方案:在落盘加密方案的基础上,采用KeyManager服务管理节点密钥,安全性更强。
- 同态加密、群环签名:链上提供了同态加密、群环签名接口,用于满足更多的业务需求。
## 可运维性
联盟链系统中,区块链的运维至关重要,FISCO 0 码力 |
2383 页 |
18.83 MB
| 2 年前 3 -
执行节点的计算数据做信任背书。
SMPC是一个支持多个学习过程并行运行的框架,会陆续集成更多纵向联邦学习、横向联邦学习算法。
### 1.2 去中心化存储网络
数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点,存储节点通过应答数据持有节点的挑战证明自己持有数据分片。通过这些机制,实现了在不泄漏隐私的前提下充分且安全地利用存储资源。
训练样本和预测数据集往往是归属于不同机 络、决策树等;
2. 支持横向联邦学习算法,计划先对多元线性回归和多元逻辑回归进行改造;
3. 提供联邦学习训练参数的评估能力,通过交叉验证等方式评估训练参数的优劣;
4. 优化目前使用的加法同态算法Paillier的性能;
5. 去中心化存储服务支持负载均衡策略,根据存储节点剩余资源和以往表现情况,在文件分发时找到最优节点列表。
## 快速安装
我们为您提供了能够快速拉起 PaddleDTX node.com sh -c "./xchain-cli contract query $contractName"
### 2. 部署 XuperDB
数据持有节点将自己的隐私数据进行加密、切分、副本复制后分发到存储节点,存储节点是数据存储的物理节点。这里部署三个存储节点和两个数据持有节点,两个数据节点模拟分别提供部分数据的两方。
修改配置文件:
[dataOwner.blockchain 0 码力 |
53 页 |
1.36 MB
| 2 年前 3 -
Fail”的弊病显现,也因此引发了一系列的技术变革与商业变革,启动了一轮从“集中式”走向“分布式”的时代浪潮。
在此背景下,区块链技术在2008年萌芽成型,并逐渐发展成熟。通过区块链技术解决方案中的共识机制、分布式账本、加密算法、智能合约、点对点通信、分布式计算架构、分布式存储、隐私保护算法、跨链协议等技术模块,可以让商业模式中的参与各方实现了地位对等和互信合作,从而推动了从“信息互联网”到“信任互联网”的时代进步,也令商业模式全面走向“分布式”成为可能。 平台通过节点准入控制、可靠的密钥管理、灵活的权限控制,在应用、存储、网络、主机层实现全面的安全保障。在隐私保护的设计上,支持权限管理、物理隔离,支持国密算法(国家密码局认证的标准算法),同时也对外开源了包括同态加密、零知识证明、群签名、环签名等多种隐私保护算法的实现方案。
- 在可用性方面,FISCO BCOS设计为7×24小时运行,达到金融级高可用性。在监管支持方面,可支持监管和审计机构作为观察节点加入 更多关于虚拟机的介绍,请参考虚拟机设计文档
## 密钥管理服务
2.0版本对落盘加密进行了重塑升级,开启落盘加密功能时,依赖KeyManager服务进行密钥管理,安全性更强。
KeyManager在Github开源发布,节点与KeyManager的交互协议是开放的,支持机构设计实现符合自身密钥管理规范的KeyManager服务,比如采用硬件加密机技术。该部分更详细的文档请参考使用文档和设计文档
## 准入控制 0 码力 |
1227 页 |
10.79 MB
| 2 年前 3
|