版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/80846156
我的原创地址：https://dongkelun.com/2018/06/19/sparkSubmitKafka/
前言
Spark Streaming本身是没有Kafka相关的jar包和API的，如果想利用Spark Streaming获取Kafka里的数据，需要自己将依赖添加SBT或Maven项目中，添加依赖更新项目之后，就可以在Eclipse等IDE里直接运行Spark Streamming+Kafka的程序了，可参考Spark Streaming连接Kafka入门教程，但是如果需要在集群通过spark-submit提交jar包的方式来运行程序的话，会抛出异常：
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/kafka/common/serialization/StringDeserializer
这是因为Spark本身没有Kafka相关的jar，所以需要将与Kafka相关的jar添加Spark环境中
1、相关jar包
总共需要两个jar，可以在SBT和Maven下载的目录里找到，分别为org.apache.spark/spark-streaming-kafka-0-10_2.11/jars/spark-streaming-kafka-0-10_2.11-2.3.0.jar和org.apache.kafka/kafka-clients/jars/kafka-clients-0.10.0.1.jar,具体的名字会因你的kafka版本和spark版本而有所不同
2、方法一
第一个方法也是我觉得最简单的方法，将这两个jar拷贝到$SPARK_HOME/jars目下即可
如果用ambari安装的spark2,则对应的目录为
/usr/hdp/current/spark2-client/jars/
拷贝命令
cp spark-streaming-kafka-0-10_2.11-2.3.0.jar kafka-clients-0.10.0.1.jar /usr/hdp/current/spark2-client/jars/
然后通过如下命令提交jar即可(只是最简单的配置，实际还需要配置Executor的数量，内存大小等等)
spark-submit --master yarn --class com.dkl.leanring.spark.kafka.KafaDemo spark-scala_2.11-1.0.jar
3、方法二
通过–jars指定需要的jar，多个jar需要以逗号分隔
spark-submit --master yarn --class com.dkl.leanring.spark.kafka.KafaDemo --jars jars/kafka-clients-0.10.0.1.jar,jars/spark-streaming-kafka-0-10_2.11-2.3.0.jar spark-scala_2.11-1.0.jar
这种方式如果依赖的jar很多的话就不方便了
关于spark-submit添加依赖jar更详细说明可参考https://dongkelun.com/2018/05/06/sparkSubmitException/
参考
https://www.cnblogs.com/zhangXingSheng/p/6646879.html
