新闻动态
News
日前,容天公司技术部同事,进行了两个 yolov5 的小测试,现将测试结果分享给大家。
测试一:
tensorRT 平台,对于同一个模型,数据类型分别使用 FP32、FP16、INT8 进行部署。测试推理耗时、GPU 显存占用和算法精度的不同。
测试二:
tensorRT 平台,对于同一个模型,分别使用 C++ 和 python 版本进行部署。测试推理耗时、GPU 显存占用的不同。
测试环境
测试一数据及分析
综合考虑算法精度、推理耗时、显存占用因素,推荐使用 FP16 进行部署;
测试二数据及分析
c++ 版本和 python 版本推理耗时接近,后者显存占用更高一些;