首页 文章 精选 留言 我的

精选列表

搜索[web],共10000篇文章
优秀的个人博客,低调大师

18【在线日志分析】之Spark on Yarn配置日志Web UI(HistoryServer服务)

1.进入spark目录和配置文件 [root@sht-sgmhadoopnn-01 ~]# cd /root/learnproject/app/spark/conf [root@sht-sgmhadoopnn-01 conf]# cp spark-defaults.conf.template spark-defaults.conf 2.创建spark-history的存储日志路径为hdfs上(当然也可以在linux文件系统上) [root@sht-sgmhadoopnn-01 conf]# hdfs dfs -ls / Found 3 items drwxr-xr-x - root root 0 2017-02-14 12:43 /spark drwxrwx--- - root root 0 2017-02-14 12:58 /tmp drwxr-xr-x - root root 0 2017-02-14 12:58 /user You have new mail in /var/spool/mail/root [root@sht-sgmhadoopnn-01 conf]# hdfs dfs -ls /spark Found 1 items drwxrwxrwx - root root 0 2017-02-15 21:44 /spark/checkpointdata [root@sht-sgmhadoopnn-01 conf]# hdfs dfs -mkdir /spark/historylog #在HDFS中创建一个目录,用于保存Spark运行日志信息。Spark History Server从此目录中读取日志信息 3.配置 [root@sht-sgmhadoopnn-01 conf]# vi spark-defaults.conf spark.eventLog.enabled true spark.eventLog.compress true spark.eventLog.dir hdfs://nameservice1/spark/historylog spark.yarn.historyServer.address 172.16.101.55:18080 #spark.eventLog.dir保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建 #spark.yarn.historyServer.address : Spark history server的地址(不加http://). 这个地址会在Spark应用程序完成后提交给YARN RM,然后可以在RM UI上点击链接跳转到history server UI上. 4.添加SPARK_HISTORY_OPTS参数 [root@sht-sgmhadoopnn-01 conf]# vi spark-env.sh #!/usr/bin/env bash export SCALA_HOME=/root/learnproject/app/scala export JAVA_HOME=/usr/java/jdk1.8.0_111 export SPARK_MASTER_IP=172.16.101.55 export SPARK_WORKER_MEMORY=1g export SPARK_PID_DIR=/root/learnproject/app/pid export HADOOP_CONF_DIR=/root/learnproject/app/hadoop/etc/hadoop export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog \ -Dspark.history.ui.port=18080 \ -Dspark.history.retainedApplications=20" 5.启动服务和查看 [root@sht-sgmhadoopnn-01 spark]# ./sbin/start-history-server.sh starting org.apache.spark.deploy.history.HistoryServer, logging to /root/learnproject/app/spark/logs/spark-root-org.apache.spark.deploy.history.HistoryServer-1-sht-sgmhadoopnn-01.out [root@sht-sgmhadoopnn-01 ~]# jps 28905 HistoryServer 30407 ProdServerStart 30373 ResourceManager 30957 NameNode 16949 Jps 30280 DFSZKFailoverController 31445 JobHistoryServer [root@sht-sgmhadoopnn-01 ~]# ps -ef|grep spark root 17283 16928 0 21:42 pts/2 00:00:00 grep spark root 28905 1 0 Feb16 ? 00:09:11 /usr/java/jdk1.8.0_111/bin/java -cp /root/learnproject/app/spark/conf/:/root/learnproject/app/spark/jars/*:/root/learnproject/app/hadoop/etc/hadoop/ -Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog -Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=20 -Xmx1g org.apache.spark.deploy.history.HistoryServer You have new mail in /var/spool/mail/root [root@sht-sgmhadoopnn-01 ~]# netstat -nlp|grep 28905 tcp 0 0 0.0.0.0:18080 0.0.0.0:* LISTEN 28905/java [root@sht-sgmhadoopnn-01 ~]#

优秀的个人博客,低调大师

自动更新 SSL 证书,OCSP 支持 C++ Web 框架 paozhu 1.13.0 发布

经过1个多月修改,paozhu 大量重构系统,http2协议解析和http1协议解析重构,让框架更有小成,稳定,全球框架为数不多的生态完善框架。 框架添加了SSL证书自动续期和刷新,无人工干预,通过ACME协议更新证书,未来可以支持更是供应商。 框架添加OCSP支持,支持服务器端装订OCSP,大大增加https打开反应速度。 这两项很多云服务器是收费功能。 这些为数不多的C++实现功能。 自动更新SSL证书 SSL证书自动续期功能启用页简单,修改conf/acme.conf文件 填上你的邮箱,即可。 注意 acme_path 为你的项目目录下acme目录 如果不是生产服务器需要修改 cert_path [info] acme_path = /Users/hzq/paozhu/acme ;项目目录下acme 目录,存放申请中间文件 cert_path = /usr/local/etc/paozhu ;域名证书存放 email = ab@abc.com ;必须设置邮箱才能生效,Email must be set to take effect server.conf 相应的域名下 acme_auto=1 才能自动 days_remain= 10 ;剩余多少天才更新SSL证书 [zerossl] server_url = https://acme.zerossl.com/v2/DV90 eab_api = https://api.zerossl.com/acme/eab-credentials-email eab_kid = eab_hmac_key = email = user_name = user_pwd = eab_kid = eab_hmac_key = 两个成功申请证书后会自动更新这两个值。 修改serve.conf文件 acme_auto = 0 ;acme automatically applies for SSL certificates, 1 自动更新SSL证书 acme_every_day = 7 ;What time does acme run every day, 每天几点运行一次,如果有证书需要就更新 acme_every_num = 5 ;How many domain names are processed at a time, 每次处理几个域名 acme_every_day 每天几点运行一次,acme_every_num 每次检查几个域名 [www.abc.com] wwwpath=/www/myweb/www/newpoint http2_enable=1 acme_auto=1 ;本域名启动ssl证书自动续期 acme_auto=1 为启动自动SSL证书续期 OCSP 配置 ocsp_intv_time = 3600 ;OCSP update interval * 5 second, OCSP 更新时间间隔 至少 600 * 5 秒 ocsp_intv_time = 3600 约为 3600*5秒间隔更新SSL证书状态 Paozhu 这次重构内置http2模块,全球为数不多的自主研发http2协议解析。 框架增加了平滑流量控制功能,预防突发把服务器拉爆内存。 https://github.com/hggq/paozhu

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码