首页 文章 精选 留言 我的

精选列表

搜索[知识库管理],共10000篇文章
优秀的个人博客,低调大师

Spark中的内存管理(一)

一个Spark应用运行的过程如下所示: Driver用户的主程序提交到Driver中执行,在Driver中创建SparkContext,SparkContext初始化DAGScheduler和TaskScheduler,作为coordinator负责从AppMaster申请资源,并将作业的Task调度到Executor上面执行。 在yarn-cluster模式下,AppMaster中包含了Driver,在YARN中启动,spark-submit客户端kill掉不影响程序的运行;在yarn-client模式下,Driver在spark-submit的客户端启动(不在YARN中),跟AppMaster是分离的,spark-submit客户端kill掉会导致Spark程序挂掉(如spark-sql/spark-shell等都是以yarn-c

优秀的个人博客,低调大师

Istio Egress Gateway出口流量管理

缺省状态下,Istio服务网格内的Pod,由于其iptables将所有外发流量都透明的转发给了sidecar,所以这些集群内的服务无法访问集群之外的 URL,而只能处理集群内部的目标。 控制出口流量描述了如何通过ServiceEntry将外部服务暴露给集群内的客户端 本文则通过一个官方的用例解释如何通过Egress Gateway配置Istio的出口流量,这个例子主要适用于两种场景: 离​​开服务网格的所有流量必须流经一组专用节点,这一组节点会有特殊的监控和审查 集群中不是所有节点都有public IP,定义egress网关,通过它引导所有出口流量并将public IP分配给egress网关节点,允许应用节点以受控方式访问外部服务 环境准备 创建Kubernetes集群 阿里云容器服务Kubernetes 1.11.2目前已经上线,可以通过容器

优秀的个人博客,低调大师

Linux进程管理 指令 ps -aux

15.1 进程的基本介绍 (1)在linux中,每个执行的程序都称为一个进程,每一个进程都分配一个ID号。 (2)每一个进程都会对应一个父进程,而这个父进程可以复制多个子线程。例如:www服务器 (3)每个进程都可能以两种方式存在的。前台与后台,所谓前台进程就是用户目前的屏幕上可以进行操作的。后台进程则是实际在操作,但由于屏幕上无法看到的进程,通常使用后台方式执行。 (4)一般系统的服务都是以后台进程的方式存在,而且都会常驻在系统中,直到关机才结束。 15.2 显示系统执行的进程 15.2.1 指令ps -aux ps -a:显示当前终端的所有进程信息 ps -u:以用户的格式显示进程信息 ps -x:显示后台进程运行的参数 15.2.2 进程信息说明 USE:用户名称 PID:进程号 %CPU:进程占用CPU的百分比 %MEM:进程占用物理内存的百分比 VSZ:进程占用的虚拟内存大小(单位:KB) RSS:进程占用的物理内存大小(单位:KB) TTY:终端名称,缩写 STAT:进程状态,其中S-睡眠,s-表示该进程是会话的先导进程,N-表示进程拥有比普通优先级更低的优先级,R-正在运行,D-短期等待,Z-僵尸进程,T-被跟踪或者被停止等等。 STARTED:进程的启动时间 TIME:CPU时间,即进程使用CPU的总时间 COMMAND:启动进程所用的命令和参数,如果过长会被截断显示 15.2.3 应用实例 要求:以全格式显示当前所有的进程,查看进程的父进程。 ps -ef:是以全格式显示当前所有的进程 -e:显示所有进程,-f:全格式 ps -ef | grep xxx 是BSD风格 UID:用户ID PID:进程ID C:CPU用于计算执行优先级的因子。数值越大,表明进程是是CPU密集型运算,执行优先级会降低;数值越小,表明进程是I/O密集型运算,执行优先级会提高。 STIME:进程启动的时间 TTY:完整的终端名称 TIME:CPU时间 CMD:启动进程所用的命令和参数 15.3 终止进程kill和killall 15.3.1 介绍 若是某个进程执行到一半需要停止时,或是已经消耗了很大的系统资源时,此时可以考虑停止该进程。使用kill命令来完成此项任务。 15.3.2 基本语法 kill [选项] 进程号(通过进程号杀死进程) killall 进程名称(通过进程名称杀死进程,也支持通配符,这在系统因负载过大而变得很慢是时很有用) 常用选项:-9(表示强迫进程立即停止) 15.3.3 实践 (1)先登录一个非root用户 (2)在root用户下查看当前的sshd (3)杀掉3660 15.4 查看进程树pstree 15.4.1 基本语法 pstree [选项],可以更加直观的来看进程信息 15.4.2 常用选项 -p:显示进程的PID -u:显示进程的所属用户 15.4.3 实例

优秀的个人博客,低调大师

linux上的交换分区管理

swap,交换分区,内存紧张的时候拿出这部分分区暂时存储内存中的内容(为了给别的程序让出内存) swapon 分区名或文件名,将指定分区或文件作为swap使用,也可以-a开启全部swap swapoff 分区名或文件名,同上,有开就有关。 swapon -s 查看目前使用的swap mysql服务器通常选择关闭swap,原因是mysql本身读写已经很费io了,交换分区再频繁的把mem里的东西挪来挪去的io就炸了... swap通常配置如下(看你实际业务需求调整): 4G以内的物理内存,SWAP 设置为内存的2倍。 4-8G的物理内存,SWAP 等于内存大小。 8-64G 的物理内存,SWAP 设置为8G。 64-256G物理内存,SWAP 设置为16G。 给swap扩容: 文件的方式:mkdir -p /data/.swap,单独建一个目录,然后cd进去 dd if=/dev/zero of=swapfile bs=1024 count=1000000,准备好交换分区文件,每个块1kb,合计大约1G的大小。 mkswap -f swapfile,将文件创建为交换分区文件,不加-f会提示你“warning: don't erase bootbits sectors on whole disk” 分区的方式:mkswap 分区名,类似mkfs那样。 怎么开启就按最上边讲的swapon,swapoff用法 查看当前交换分区大小:free命令,可以看到我这个只给了500兆mem的小可怜有了快2g的swap了(装机时默认的1G) 当然你想下次开启不用再重复操作一遍,就做永久修改 vim /etc/fstab 路径 swap swap defaults 0 0(mkswap时会生成一个uuid,当然写路径更直观)

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册