转载:linux下大数据人工智能自动化脚本定时任务模板
转自: https://mp.weixin.qq.com/s/mXXJmDqtv7PyqglN9ekvNQ 本文针对有初级sql及python人工智能开发基础,需要执行定时任务的初学人员。 假设在工作中,要执行一个任务,大致要求如下: 一、每月执行一次定时任务; 二、用hive处理数据,并下载; 三、用python读取数据,送入机器学习算法训练,预测结果,保存结果; 四、读取预测结果,上传到数据库指定位置,并按月分区 (一)、关于定时任务crontab,命令网上可以搜到很多用法。在这里有一个坑需要注意,就是直接执行shell脚本时用到的python环境路径,可能与定时任务的python路径不同,导致执行脚本时报错,找不到模块。这里有一个小方法,写一个python程序test.py。 import sys print(sys.path) python test.py与crontab -e各执行一次,就可以看到两次路径是否相同了。还有一点,就是关于注册信息的问题, kinit -kt /home/accunt/cluster_keytab/accu...






