转载：linux下大数据人工智能自动化脚本定时任务模板

转自：

https://mp.weixin.qq.com/s/mXXJmDqtv7PyqglN9ekvNQ

本文针对有初级sql及python人工智能开发基础，需要执行定时任务的初学人员。

       假设在工作中，要执行一个任务，大致要求如下：

       一、每月执行一次定时任务；

       二、用hive处理数据，并下载；

       三、用python读取数据，送入机器学习算法训练，预测结果，保存结果；

       四、读取预测结果，上传到数据库指定位置，并按月分区

       （一）、关于定时任务crontab，命令网上可以搜到很多用法。在这里有一个坑需要注意，就是直接执行shell脚本时用到的python环境路径，可能与定时任务的python路径不同，导致执行脚本时报错，找不到模块。这里有一个小方法，写一个python程序test.py。

import sys

print(sys.path)

       python test.py与crontab -e各执行一次，就可以看到两次路径是否相同了。还有一点，就是关于注册信息的问题，

kinit -kt /home/accunt/cluster_keytab/accunt.keytab accunt中的accunt是你自己的账户，没有这句话，程序也会报错。所以建议专门写一个定时任务，每隔几个小时执行一次该命令。

       （二）、程序中经常会涉及到变量，比较常见的是时间变量，这样才能做到自动化，train_month_t=$(date +%Y%m -d '-1 month')这句话意思是，获取执行程序时的月份的前一个月，‘$’是定义一个变量，用$train_month_t传入sql语句中。exportHIVE_SKIP_SPARK_ASSEMBLY=true; 这句话的作用是在下载数据时，保证数据能够下载齐全。

       （三）、为了降低shell脚本的篇幅，可以将python部分以子文件形式执行。这里为了防止在定时任务时，python路径不统一，使用python的环境路径执行程序。通过sys.argv[1]将参数$py_month传进去。这里的月份形式是'201808'，传进去是字符串格式。

       （四）、在数据库里建表，并将通过人工智能预测好的数据，上传到指定分区。

下面是模板内容：

#!/bin/bash

kinit -kt /home/accunt/cluster_keytab/accunt.keytab accunt

echo "***************************"

train_month_t=$(date +%Y%m -d '-1 month')

echo $train_month_t

echo "*************start*************"

sql_train="

create table if not exists test.t_test

(a string, 

b string)

row format delimited fields terminated by '\t' 

lines terminated by '\n'

stored as textfile;

set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table test.t_test 

select a,b

from product.t_test 

where day=concat('$train_month_t','01');

"

echo $sql_train >./train.sql

kinit -kt /home/accunt/cluster_keytab/accunt.keytab accunt

hive -f ./train.sql

export HIVE_SKIP_SPARK_ASSEMBLY=true;

hive -e "set hive.cli.print.header=true;

select distinct a,b from test.t_test;" >./train.csv

echo "*************train sql successful************"

kinit -kt /home/accunt/cluster_keytab/accunt.keytab accunt

./python ./train_pred.py $py_month

echo "*************py successful************"

load_sql="

create table if not exists test.result 

(a string, 

b string) 

partitioned by (month string)

row format delimited fields terminated by '\t' 

lines terminated by '\n'

stored as textfile

tblproperties('skip.header.line.count'='1');

LOAD DATA LOCAL INPATH './preds_$load_month.csv'

into table test.result PARTITION (month='$load_month');

"

echo $load_sql>./load.sql

kinit -kt /home/accunt/cluster_keytab/accunt.keytab accunt

hive -f ./load.sql

echo "*************load_sql successful************"

echo "*************successful************"

       至此，一个简单的大数据人工智能预测分析脚本模板完成了，希望能有所帮助，并指出不足之处，共同进步！

转自：

https://mp.weixin.qq.com/s/mXXJmDqtv7PyqglN9ekvNQ