英伟达发布TensorRT 3可编程推理加速器,比起CPU能实现高达40倍吞吐率
北京时间9月26日,在英伟达GPU技术峰会上,英伟达创始人兼CEO黄仁勋正式发布TensorRT 3 神经网络推理加速器。据官方介绍,TensorRT 3能极大改善处理性能,削减从云到边缘设备(自动驾驶汽车、机器人等)的推理开销。TensorRT 3 是在Volta GPU 实现最优推理性能的关键,比起CPU它能实现高达40倍的吞吐量,时延在7ms之内。目前,对于英伟达开发者计划成员,现在有针对Tesla GPU (P4, P100, V100)和Jetson嵌入式平台的TensorRT 3提供免费下载。
关于TensorRT
据雷锋网了解,英伟达TensorRT 是一种高性能神经网络推理引擎,用于在生产环境中部署深度学习应用程序。应用有图像分类,分割和目标检测,提供的帧/秒速度比只有CPU的推理引擎高14倍。
TensorRT是世界上