首页 文章 精选 留言 我的

精选列表

搜索[在线考试系统],共10000篇文章
优秀的个人博客,低调大师

19【在线日志分析】之sparkdemo.jar运行在yarn上过程

1.将之前打包的jar包上传 [root@sht-sgmhadoopnn-01 spark]# pwd/root/learnproject/app/spark[root@sht-sgmhadoopnn-01 spark]# rzrz waiting to receive.Starting zmodem transfer. Press Ctrl+C to cancel.Transferring sparkdemo.jar... 100% 164113 KB 421 KB/sec 00:06:29 0 Errors 2.以下是错误 2.1 ERROR1: Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributesIDEA打包的jar包,需要使用zip删除指定文件zip -d sparkdemo.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF 2.2 ERROR2: Exception in thread "main" java.lang.UnsupportedClassVersionError: com/learn/java/main/OnLineLogAnalysis2 : Unsupported major.minor version 52.0yarn环境的jdk版本低于编译jar包的jdk版本(需要一致或者高于;每个节点需要安装jdk,同时修改每个节点的hadoop-env.sh文件的JAVA_HOME参数指向) 2.3 ERROR3: java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.createStarted()Lcom/google/common/base/Stopwatch;17/02/15 17:30:35 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.createStarted()Lcom/google/common/base/Stopwatch;java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.createStarted()Lcom/google/common/base/Stopwatch; at org.influxdb.impl.InfluxDBImpl.ping(InfluxDBImpl.java:178) at org.influxdb.impl.InfluxDBImpl.version(InfluxDBImpl.java:201) at com.learn.java.main.OnLineLogAnalysis2.main(OnLineLogAnalysis2.java:69) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:627) 抛错信息为NoSuchMethodError,表示 guava可能有多版本,则低版本[root@sht-sgmhadoopnn-01 app]# pwd/root/learnproject/app[root@sht-sgmhadoopnn-01 app]# lltotal 470876-rw-r--r-- 1 root root 7509833 Jan 16 22:11 AdminLTE.zipdrwxr-xr-x 12 root root 4096 Feb 14 11:21 hadoop-rw-r--r-- 1 root root 197782815 Dec 24 21:16 hadoop-2.7.3.tar.gzdrwxr-xr-x 7 root root 4096 Feb 7 11:16 kafka-manager-1.3.2.1-rw-r--r-- 1 root root 59682993 Dec 26 14:44 kafka-manager-1.3.2.1.zipdrwxr-xr-x 2 root root 4096 Jan 7 16:21 kafkaoffsetmonitordrwxr-xr-x 2 777 root 4096 Feb 14 14:48 piddrwxrwxr-x 4 1000 1000 4096 Oct 29 01:46 sbt-rw-r--r-- 1 root root 1049906 Dec 25 21:29 sbt-0.13.13.tgzdrwxrwxr-x 6 root root 4096 Mar 4 2016 scala-rw-r--r-- 1 root root 28678231 Mar 4 2016 scala-2.11.8.tgzdrwxr-xr-x 13 root root 4096 Feb 15 17:01 spark-rw-r--r-- 1 root root 187426587 Nov 12 06:54 spark-2.0.2-bin-hadoop2.7.tgz[root@sht-sgmhadoopnn-01 app]# [root@sht-sgmhadoopnn-01 app]# find ./ -name *guava*[root@sht-sgmhadoopnn-01 app]# mv ./hadoop/share/hadoop/yarn/lib/guava-11.0.2.jar ./hadoop/share/hadoop/yarn/lib/guava-11.0.2.jar.bak[root@sht-sgmhadoopnn-01 app]# cp ./spark/libs/guava-20.0.jar ./hadoop/share/hadoop/yarn/lib/ [root@sht-sgmhadoopnn-01 app]# mv ./spark/jars/guava-14.0.1.jar ./spark/jars/guava-14.0.1.jar.bak[root@sht-sgmhadoopnn-01 app]# cp ./spark/libs/guava-20.0.jar ./spark/jars/ [root@sht-sgmhadoopnn-01 app]# mv ./hadoop/share/hadoop/common/lib/guava-11.0.2.jar ./hadoop/share/hadoop/common/lib/guava-11.0.2.jar.bak[root@sht-sgmhadoopnn-01 app]# cp ./spark/libs/guava-20.0.jar ./hadoop/share/hadoop/common/lib/3.后台提交jar包运行[root@sht-sgmhadoopnn-01 spark]# [root@sht-sgmhadoopnn-01 spark]# nohup /root/learnproject/app/spark/bin/spark-submit \> --name onlineLogsAnalysis \> --master yarn \> --deploy-mode cluster \> --conf "spark.scheduler.mode=FAIR" \> --conf "spark.sql.codegen=true" \> --driver-memory 2G \> --executor-memory 2G \> --executor-cores 1 \> --num-executors 3 \> --class com.learn.java.main.OnLineLogAnalysis2 \> /root/learnproject/app/spark/sparkdemo.jar &[1] 22926[root@sht-sgmhadoopnn-01 spark]# nohup: ignoring input and appending output to `nohup.out' [root@sht-sgmhadoopnn-01 spark]# [root@sht-sgmhadoopnn-01 spark]# [root@sht-sgmhadoopnn-01 spark]# tail -f nohup.out4.yarn web界面查看运行logApplicationMaster:打开为spark history server web界面logs: 查看stderr 和 stdout日志 (system.out.println方法输出到stdout日志中) 5.查看spark history web6.查看DashBoard ,实时可视化

优秀的个人博客,低调大师

星甘 StarGantt 在线甘特图 v2.0 发布,能用到极致的跃进

星甘2.0发布!从能用到极致的产品进化论 🚀 摘要:从"能用"到"好用",星甘StarGantt迎来2.0大版本更新!全新工具栏、精细化权限控制、一键分配负责人...这不只是一次版本升级,更是一个独立开发者在AI时代的产品思考与实践! 🎨 全新工具栏——从"能用"到"专业" 设计理念的转变 💡 1.0版本的设计理念是:功能优先,能用就行。 2.0版本的设计理念是:体验优先,专业至上。 这不是玩文字游戏。作为一个后端出身的程序员,我以前觉得UI只是"皮",功能才是"骨"。但用户教育了我: 好的工具,不仅要好用,还要让人"想用"。 工具栏的进化 🔧 2.0的工具栏经过了彻底重构: 变化一:图标语义化 以前的按钮可能就是一个抽象的图形,用户需要把鼠标悬停上去才知道是什么功能。现在每个图标都经过精心挑选,一眼就能看懂。 变化二:分组逻辑化 工具按功能进行了分组: 📁文件操作区:新建、保存、导出 ✏️编辑操作区:添加任务、删除、撤销 👁️视图操作区:缩放、筛选、展开/折叠 🔗协作操作区:分享、权限设置 变化三:响应反馈化 点击按钮会有明确的视觉反馈,操作成功/失败都有清晰的提示。不会再出现"我点了,但不知道有没有效果"的困惑。 🔐 精细化权限——让协作更安全 权限的三种角色 这是2.0版本最核心的更新! 现在分享甘特图链接时,可以指定对方的权限: 角色 权限说明 适用场景 👑所有者 完全控制,包括删除项目 项目创建者 ✏️可编辑 可以修改任务,但不能删除项目 项目组核心成员 👁️可查看 只能查看,不能修改任何内容 领导、甲方、围观群众 真实场景演示 🎬 让我用一个真实场景来说明这个功能的价值: 场景:跨部门项目汇报 你是项目经理,需要: 给领导看进度 → 发送「只读」链接 给核心成员协作 → 发送「可编辑」链接 给甲方爸爸汇报 → 发送「只读」链接(带过期时间) 以前这种需求要建3个项目副本,现在一个项目,三种链接,完美解决! 领导再也删不掉你的任务了 😂 开个玩笑。但这确实是用户最关心的问题。 有个用户跟我说: "自从用了只读分享,我再也不用担心领导'不小心'把我的任务改了。他想改?让他自己建项目去!" 权限,就是边界。好的协作工具,应该让每个人都在自己的边界内安心工作。 📊 其他优化——细节见真章 除了三大核心更新,2.0还有很多细节优化: 1. 导出带甘特图的Excel 这是1.3版本就有的功能,2.0进一步优化了导出效果: ✅ Excel中直接显示甘特图条形图 ✅ 支持导出进度百分比 ✅ 格式更美观,可直接用于汇报 使用场景:领导要Word版的项目报告,你可以导出Excel后复制粘贴到Word里。 2. 基线对比功能 项目管理中,基线是个很重要的概念。 🟠橙色细条:原始计划(基线) 🔵蓝色粗条:实际进度 通过对比,可以直观看出哪些任务提前、哪些延期。这对项目复盘非常有价值。 3. 性能优化 大家可能不会直接感受到,但2.0对渲染性能做了大量优化: 100+任务的项目,加载速度提升40% 拖拽操作更流畅,不再有卡顿 内存占用减少30% 作为一个后端程序员,性能优化是我的老本行了。虽然用户看不到,但我知道它很重要。 💬 想对大家说的话 关于独立开发 两个月前我问过大家:"一个人能做产品吗?" 现在我可以更自信地说:能!但需要策略。 聚焦核心价值:不要什么都想做,先把一个功能做到极致 善用AI工具:Cursor、Claude、ChatGPT都是我的好帮手 重视用户反馈:用户比你更懂他们需要什么 接受不完美:先上线,再迭代 关于坚持 说实话,这两个月有过很多次想放弃的念头: 用户增长不如预期 技术问题搞得焦头烂额 白天上班晚上写代码,累到怀疑人生 但每次有用户说"这个功能很好用"、"帮我解决了大问题"的时候,我就觉得值了。 做产品就像种树,不能天天拔出来看根长了没有。 关于未来 🌟 我不知道星甘能走多远,但我知道: 只要有人在用,我就会继续做下去。

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册