2017-3-30
3 月 28 日,国内领先的金融大数据应用企业——上海雅捷信息技术股份有限公司在京举办了鸡年的首场新产品发布会。在本次发布会上,雅捷信息发布了三款重磅产品,包括DataTurbine 大数据并行处理平台 2.0 版本以及 DataTurbines-P、DataTurbines-D 两种软硬件一体化解决方案。
伴随着国内大数据应用的不断深入,金融企业对于数据的快速加工和高速查询有了更高的要求,特别是在高并发状态下的查询需求。而此类需求给数据处理技术带来了前所未有的挑战:面对大数据量下的数据加工和查询,现有系统计算能力不足的问题凸显。基于对金融行业需求的敏锐把握,雅捷信息推出了针对解决大数据应用难题的 DataTurbines 系列产品,该系列产品创新性地采用 GPU 计算技术加快数据处理和查询的新架构,包括企业级 DataTurbines 大数据并行处理平台及两种一体化解决方案。
该系列产品的发布,表明雅捷信息在金融业大数据处理技术方面已取得世界领先地位。目前,DataTurbines 系列产品已应用在省级商业银行等金融机构的大数据查询应用中,为客户带来了良好的应用效果。在一个 6000 万客户的银行,以往 2 小时的跑批任务,如今 1 分钟完成;原先 5 分钟的查询,现在不到一秒。这就是基于 GPU 的数据库技术对业务的实实在在提升。速度的巨大提升,使得原先因系统性能而不能做的业务变得可行,使得大数据真正服务银行的每一个岗位。正如某银行互金部老总所评价:“速度的提升甚至可以将风控做到实时,这对业务的提升简直就是跨越,是消费金融的核心能力”。
雅捷信息本次发布的 DataTurbines 系列产品不仅包含了基于雅捷在行业经验优势的软件产品,更是实现了与 NVIDIA® DGX-1™ 人工智能超级计算机与集成了 NVIDIA NVLink™ 高速互联技术的 IBM Power S822LC for HPC(Power Minsky) 服务器产品的集成。通过将雅捷软件产品与这些服务器紧密融合,为金融业客户提供了一体化的行业解决方案。
雅捷信息的董事长郑学强在发言中表示:“GPU 技术可真正将大数据落地。银行从来不缺大数据,缺的是数据引领业务的能力;银行不缺想法,问题就在于数据处理的能力,为了数据,每个银行都投入不菲,但是数据太大了,造成查询慢、加工慢。雅捷利用 NVIDIA GPU 技术使得银行数据并发查询加速 500 倍、跑批提速 100 倍。这在数据仓库时代简直匪夷所思,即使以 Hadoop 为基础的体系也是个不切实际的梦想”。
NVIDIA 全球副总裁、中国区企业事业部总经理沈威表示:“NVIDIA 一直以来利用不断推陈出新的 GPU 加速计算为各行业提供卓越的高性能计算平台,并通过遍布全球的合作伙伴网络,行业应用解决方案供应商,加速关键行业应用性能提升。凭借雅捷、IBM 在金融领域的深耕与优势,以及 NVIDIA GPU 技术的强大性能,三家公司的深度合作将助力金融行业客户大数据应用的指数级提升”。
IBM 大中华区硬件系统部服务器解决方案副总裁施东峰在发言中阐述:“随着认知商业时代的到来,机器学习正在快速被应用在包括金融业在内的各个行业。作为一家认知解决方案和云平台公司,IBM 包括 Power System 在内的 IT 基础设施都已经为云和认知而设计优化,此次与雅捷合作实现软硬件一体化解决方案的 Power Minsky 服务器,利用了最新的 NVIDIA NVlink 互联技术,与 NVIDIA P100 GPU 结合,能够大幅度提升雅捷产品的性能,更好地为金融客户提供服务”。
此次发布的三款新产品和一体化方案包括:
DataTurbines 大数据并行处理平台2.0
DataTurbines 大数据并行处理平台 2.0 版本是一款分布式数据库软件产品,其创新性在于在充分发挥服务器并行技术的基础上,利用 NVIDIA GPU 加速器的高性能、高并发计算能力,利用 GPU 计算平台进行数据处理加速,提高数据加工和查询性能。面对大规模数据,高维度统计汇总以及文本模糊查询场景在实际应用和测试中,将效率提升 400 倍以上。在数据加工场景中,如资金转移定价,效率提升同样令人振奋。DataTurbines 大数据并行处理平台 2.0 版本在 1.0 版本的基础上,进一步提高了系统功能,对 ANSI SQL 的支持达到 80% 以上,对 DB2 存储过程的支持达到 90% 以上,这进一步提高了产品的通用性和易用性。
DataTurbines-P 一体化方案
DataTurbines-P 是基于 POWER 架构、专为日常数据加工、跑批等应用设计的软硬件一体化解决方案。能在保持原系统架构基本不变的前提下,实现数据高速批处理。
DataTurbines-P 的硬件平台采用 POWER 平台+ NVIDIA Tesla® P100 的超级计算系统Power S822LC for HPC。Power S822LC for HPC 由 IBM 与包括 NVIDIA 在内的全球领先的科技公司在 2016 年 9 月合作推出,专门面向人工智能、深度学习、高性能数据分析等计算密集型工作负载。基于搭载了 NVIDIA NVLink 的 POWER8 处理器,Power S822LC for HPC 带来了仅能在 Power 开放架构上实现的业界领先的创新成果。通过高速、节能的 NVIDIA NVLink 标准,新系统实现了 POWER8 处理器与 NVIDIA TeslaP100 GPU 的连接。NVIDIA NVLink 协议融入芯片设计,并纳入了整体系统设计。IBM 与 NVIDIA 技术的紧密结合使新系统得以交付比基于 x86 的系统快 5 倍的数据处理速度。
DataTurbines-D 一体化方案
DataTurbines-D 是基于 NVIDIA DGX-1 人工智能超级计算机硬件平台和雅捷 DataTurbines 大数据并行处理平台的软硬件一体化解决方案,专门为日常数据加工,跑批等应用设计,能在保持原系统架构基本不变的前提下,实现数据高速批处理。NVIDIA DGX-1 超级计算机集成了 8 个 16GB 显存的 Tesla P100 和深度学习软件,整机性能在深度学习应用方面相当于 250 台传统服务器的水平,其配置的 7 TB固态硬盘用于储存大量原始数据,能大幅度提升数据的处理速度。目前已广泛应用于与科研、医疗等各个行业,并支持应用最广泛的加速分析应用。其强大的性能将为大型商业用户提供强大计算平台支持。
2016 年,雅捷在 NVIDIA Tesla K80 平台基础上助力某省级商业银行部署的大数据查询业务比仅用 CPU 处理方式提速了 400 倍以上。此次,两款一体化解决方案采用了 NVIDIA 最新推出的 Tesla P100 GPU,经测试使用 Tesla P100 比Tesla K80 在大数据的查询和处理方面实现了 3 到 6 倍的提速。同时应用的 NVIDIA NVLink 技术,是一种高带宽且节能的互联技术,能够在 CPU-GPU 和 GPU-GPU 之间实现超高速的数据传输。这项技术的数据传输速度是传统 PCIe3.0 速度的 5 到 12 倍,能够大幅提升应用程序的处理速度。