GPU 对 SQL 提升的性能测试报告

一、测试整体方案

本次测试针对雅捷 DataTurbines 大数据云平台（采用 GPU 计算技术加快数据处理和查询的新架构）、ClickHouse 平台分别对比执行 SQL 的基础性能测试，采用单大表性能和两表关联在查询性能等方面的情况。

二、测试组件介绍

1.GPU

NVIDIA 数据中心 GPU，可更快速地处理要求最严格的高性能计算（HPC）和超大规模数据中心工作负载。

A100 GPU 采用 NVIDIA Ampere 架构的设计，该设计为 NVIDIA 第八代 GPU 提供了迄今为止最大的性能飞跃，集 AI 训练和推理于一身，并且其性能相比于前代产品提升了高达 20倍。

2. DataTurbines

雅捷 DataTurbines 大数据云平台是上海雅捷信息技术股份有限公司（以下简称雅捷信息）出品的集大数据查询、大数据加工的高性能分布式数据库。其核心技术是大规模并行计算，利用消息机制使得计算机之间并行，利用 GPU 进行机内大规模并行，实现性能超越 CPU 数十倍的并行数据库。

SQC 使用 GPU高性能并行计算技术，实现了对数据的高速查询，在单节点环境下，相对于某些大型商业数据库，能提升数十倍的查询速度。在金融领域，典型的应用是 5000 万客户，1 亿账户，每年至少 10 亿条交易记录。在这种场景，SQC 能将查询速度提升数十倍。

3. ClickHouse

ClickHouse 由俄罗斯 yandex 公司开发。专为在线数据分析而设计。Yandex 是俄罗斯搜索引擎公司。官方提供的文档表名，ClickHouse 日处理记录数"十亿级"。

特性：采用列式存储；数据压缩；基于磁盘的存储，大部分列式存储数据库为了追求速度，会将数据直接写入内存，按时内存的空间往往很小；CPU 利用率高，在计算时会使用机器上的所有 CPU 资源；支持分片，并且同一个计算任务会在不同分片上并行执行，计算完成后会将结果汇总；支持 SQL，支持联表查询；支持实时更新；自动多副本同步；支持索引；分布式存储查询。

三、测试环境

1. DataTurbines 操作系统配置信息

2. ClickHous 操作系统配置信息

3. 测试的表信息

四、性能测试场景与结果

1.单表性能测试

1.1.     1 亿单表查询

1.2.     8 亿单表查询

1.3.     1 亿单表 count 运算

1.4.     8 亿单表 count 运算

1.5.     1 亿单表 count+distinct 运算

1.6.     8 亿单表 count+distinct 运算

1.7.     1 亿单表 count+group by 查询

1.8.     8 亿单表 count+group by 查询

1.9.     1 亿单表 count+distinct+group by 查询

1.10.     8 亿单表 count+distinct+group by 查询

2.两表 join 性能测试

2.1     500 万与 8 亿两表联合查询(count+distinct+group by)

2.2     1 亿与 8 亿两表联合查询(count+distinct+group by)

五、测试结论

测试结果表明，雅捷 DataTurbines 大数据云平台在 SQL 查询中性能稍差，在表关联大表放右时比表关联大表放左时性能更优。在实际应用中，需要利用 DataTurbines 大表在右的优点，提升其性能。总体来说，利用 GPU 进行机内大规模并行，实现性能超越 CPU 数十倍的并行数据库效果不错，但因雅捷 DataTurbines 大数据云平台目前尚在开发未优化阶段，与市面上 Clickhouse 平台相比性能稍微差一些。