GPU资源的监控和报警，支撑高效深度学习的利器

本系列将利用阿里云容器服务的机器学习解决方案，帮助您了解和掌握TensorFlow，MXNet等深度学习库，开启您的深度学习之旅。

• 第一篇： 打造深度学习的云端实验室
• 第二篇： GPU资源的监控和报警，支撑高效深度学习的利器
• 第三篇： 利用TFRecord和HDFS准备TensorFlow训练数据

大家通过第一篇文章对深度学习技术有了感性的认知后，就开始关心如果真正希望用深度学习技术解决问题时，有哪些问题需要注意。这里分享一下深度学习训练过程中一些常见的问题以及对应的解决办法。

多数深度学习的模型训练通常会花费大量的时间，短的有一到两周，长的甚至有几个月的时间。而在这期间，由于GPU状态不正常导致模型训练中断，甚至影响模型训练结果出现较大偏差的现象也屡见不鲜。这对于数据科学家来说，是无法承受之痛。

过去好多数据科学家为了解决这一问题，在训练程