Eclipse远程调试Spark

2017-04-14 520

修改配置文件

修改${spark_home}/bin/spark-class文件：

"$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 "$@"

参数说明：

-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现，包含若干子选项：
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求，这个设定为一个不冲突的端口即可。
server=y
y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。

启动Spark Application

用eclipse将项目export出jar包，传到集群上使用spark-submit提交Application，可以看到在等待：

注意，传到集群上的代码要和本地一样！

在Eclipse设置远程调试的ip和port

Debug as
Debug Configurations
Remote Java Application
配置ip和port

微信关注我们

原文链接：https://yq.aliyun.com/articles/73729

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里入职一个月思考（随笔）

最近没怎么写技术博客了。。原因是，跳到了曾经期望的公司，还在做技术储备。。。如今入职一个月了，已经完全进入状态。同时，也带来更多思考与感悟。我记得第一面，是支付宝的架构师。与他聊了很多关于技术上，性能上，架构与业务上的知识。他对我说，有没有兴趣来杭州，大牛都是逼出来的，BAT想着是如何将每一台服务器榨干，性能最大化。问我将来愿不愿意成为一名业务架构师。毕竟，摸到底层的，都是LEVEL很高的技术人员。的确，虽然说拼了命的努力，完善知识体系，但毕竟技术的海洋是无穷尽的。深度还不够。第二面，跟我聊了聊hadoop集群、hbase，storm以及更多技术原理。感觉回答的还不错，毕竟每日每夜的学，实践。也许大学时实践过销售，各个写字楼的跑过，以及短暂的记者经历。使我能直戳技术重点，流畅的将原理与技术细节讲述出来。于是还问我，你是学计算机的吗？我说，是啊：）。第三面，是一名专家。问了我这一年的工作经历，以及技术架构。由于上一年做实时的同时，又去学需求、设计、架构、运维，包括大数据全体系闭环的性能调优、技术实践与代码细节。此次面试也比较顺利。但是，现在回想起来，我觉得技术上应该达到了毕业1年...

2017-04-15

627

写在开始做项目不记录日志？线上的问题永远不会知道何时发生过？只会在出现事故之后身处茫然之中。阿里云ECS即将到期，由于之前ELK日志分析是在自己的服务器上进行试水，断断续续运行了一年多时间。今天抽空赶紧把ELK迁移一下，由于Logstash本身就配置于各个系统之中，所以这里只是对Redis、Elasticsearch和Kibana进行了配置，当然还有一些邮件发送的配置。看了下官网，Elasticsearch和Kibana已经进行了升级，Kibana更新到了版本5，而Elasticsearch也跟随升级到了5。由于系统环境是JDK1.7，而Elasticsearch依赖JDK1.8，同时Kibana又必须依赖Elasticsearch，只能升级作罢，按照原来的迁移。系统架构平台优势为什么要搭建ELK系统？方便开发或者运维人员统计分析和查询日志信息。对于错误日志统一处理并发送通知。相关软件 Logstash-2.1.1 Redis-3.2.8 Elasticsearch-2.4.4 Kibana-4.3.1 Nginx-1.6.2 JDK-1.7 sendmail 迁移说...

2017-04-15

688

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。