Spark2.1 RPC工具类RpcUtils
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/77450157 注:本文是为了配合《Spark内核设计的艺术 架构设计与实现》一书的内容而编写,目的是为了节省成本、方便读者查阅。 书中附录H的内容都在本文呈现。 RpcUtils是RpcEnv中经常用到的工具类,这里讲简要介绍其中提供的方法。 lookupRpcTimeout功能描述:根据提供的配置属性列表获取Rpc查找的超时时间,spark.rpc.lookupTimeout属性的优先级更高 。RpcTimeout是一个伴生对象,此处实际调用了RpcTimeout的apply方法,感兴趣的读者自行阅读其实现。 def lookupRpcTimeout(conf: SparkConf): RpcTimeout = { RpcTimeout(conf, Seq("spark.rpc.lookupTimeout", "spark.network.timeout"), "120s") } makeDriverRef功能描述:根据RpcEndp...


