首页 文章 精选 留言 我的

精选列表

搜索[hadoop]，共8437篇文章
优秀的个人博客,低调大师

Hadoop Hive概念学习系列之hive里的HiveQL——查询语言（十五）

Hive的操作与传统关系型数据库SQL操作十分类似。 Hive主要支持以下几类操作： DDL 1、DDL：数据定义语句，包括CREATE、ALTER、SHOW、DESCRIBE、DROP等。 详细点，就是 Hive支持大量SQL数据定义语言（Data Definition Language，DDL）中的现有功能，包括以下各种语句： CREATE DATABASE/SCHEMA,TABLE,VIEW,FUNCTION,INDEX DROP DATABASE/SCHEMA,TABLE,VIEW,INDEX TRUNCATE TABLE ALTER DATABASE/SCHEMA,TABLE,VIEW MSCK REPAIR TABLE (or ALTER TABLE RECOVER PARTITIONS) SHOW DATABASES/SCHEMAS,TABLES,TBLPROPERTIES,PARTITIONS,FUNCTIONS,INDEX[ES] DESCRIBE DATABASE,table_name,view_name 具体，见 Hive的数据类型和DDL见 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL DML 2、DML：数据操作语句，包括LOAD DATA，INSERT（将查询结果写入Hive表或文件系统中）。 注意，Hive的设计中，没有考虑UPDATE操作。 详细点，就是 Hive支持大量SQL数据定义语言（Data Manipulation Language，DML）中的现有功能，包括以下各种语句： 使用where条件过滤表的行 使用列或子查询的select表达式 使用等值连接，连接多张表 合并表的所有行或子查询 针对多个“分组”的列进行聚合计算 将查询结果存入另一张表 导出表中的内容到本地目录或HDFS目录中 Hive支持的原生数据类型 数值类型 TINYINT （1字节有符号整型） SMALLINT（2字节有符号整型） INT（4字节有符号整型） BIGINT（8字节有符号整型） FLOAT（4字节单精度浮点数） DOUBLE（8字节双精度浮点数） DECIMAL（用户定义精度和尺寸） 日期/时间类型 TIMESTAMP（传统的UNIX时间戳，精度到纳秒） DATE（使用YYYY-MM-DD格式的日期，没有时刻信息） 字符串类型 STRING（不指定长度） VARCHAR（1~65535个字符） CHAR（1~225个字符，固定长度，不足255长度会在末尾补齐空格） 其他类型 BOOLEAN BINARY Hive支持的符合数据类型 Struct：不同类型数据的集合 Array：相同类型的集合 Map：键值对数据类型的集合 QUERY 3、QUERY：数据查询语句，主要是SELECT语句。 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6105543.html，如需转载请自行联系原作者
2017-11-21
优秀的个人博客,低调大师

Hadoop项目之基于CentOS7的Cloudera 5.10.1（CDH）的安装部署

1 前言 现在借着做项目的机会在CentOS 7.3环境中再次部署了一套比较新的版本。基于共享的精神，本文给有需要的人参阅。 旧一点的版本安装请参阅（CentOS 6）： http://cmdschool.blog.51cto.com/2420395/1775398 2 实践部分 2.1 基本信息 Hostname=HD0[1-5].cmdschool.org Ipaddress=10.168.0.2[4-8] OS Version=CentOS 7.3 2.2 环境配置 2.2.1 配置IP地址 In HD01-05: 1 2 3 4 5 6 7 8 9 10 11 nmcliconnectiondelete "Wiredconnection1" nmcliconnectionshow nmclideviceshow nmcliconnectionaddifnameens192con-nameens192 type ethernet nmcliconnectionmodifyens192ipv4.address "10.168.0.XX/24" nmcliconnectionmodifyens192ipv4.gateway "10.168.0.1" nmcliconnectionmodifyens192ipv4.dns "202.96.128.86202.96.128.166" nmcliconnectionmodifyens192ipv4.methodmanual nmcliconnectionmodifyens192ipv6.methodignore nmcliconnectionmodifyens192connection.autoconnect yes nmcliconnectionupens192 注：第五行的“XX”部分是主机号 2.2.2 配置主机名称 In HD01-05: hostnamectl set-hostname HDXX.sae.com.hk 注：“XX”部分是主机名称编号 2.2.3 关闭SELinux In HD01-05: 1 getenforce 如果显示如下： 1 Enforcing 则执行： 1 2 setenforce0 sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config 2.2.4 配置名称解析 In HD01-05: 1 2 3 4 5 echo '10.168.0.24hd01.cmdschool.org' >> /etc/hosts echo '10.168.0.25hd02.cmdschool.org' >> /etc/hosts echo '10.168.0.26hd03.cmdschool.org' >> /etc/hosts echo '10.168.0.27hd04.cmdschool.org' >> /etc/hosts echo '10.168.0.28hd05.cmdschool.org' >> /etc/hosts 2.2.5 配置时区 In HD01-05: 1 2 rm /etc/localtime ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 2.2.6 关闭防火墙并设置开机不启动 In HD01-05: 1 2 systemctlstopfirewalld systemctldisablefirewalld 2.2.7 优化虚拟内存需求率 In HD01-05： 1)检查虚拟内存需求率 1 cat /proc/sys/vm/swappiness 显示如下： 1 30 2)临时降低虚拟内存需求率 1 sysctlvm.swappiness=0 3)永久降低虚拟内存需求率 1 echo 'vm.swappiness=0' > /etc/sysctl .d /swappiness .conf 并运行如下命令使生效 1 sysctl-p 2.2.8 解决透明大页面问题 In HD01-05： 1)检查透明大页面问题 1 cat /sys/kernel/mm/transparent_hugepage/defrag 如果显示为： 1 [always]madvisenever 2)临时关闭透明大页面问题 1 echo never> /sys/kernel/mm/transparent_hugepage/defrag 确认配置生效： 1 cat /sys/kernel/mm/transparent_hugepage/defrag 应该显示为： 1 alwaysmadvise[never] 3)配置开机自动生效 1 2 echo 'echonever>/sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc . local chmod +x /etc/rc .d /rc . local 2.2.9 安装JDK In HD01-05： 1)查询是否存在yum安装的java包 1 rpm-qa| grep java 注意：存在yum安装的rpm包可能导致Sqoop无法启动 2)安装jdk1.8 1 2 3 4 mkdir /usr/java cd /usr/java wgethttp: //download .oracle.com /otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64 . tar .gz tar -xfjdk-8u121-linux-x64. tar .gz 2)配置jdk变量环境 1 2 3 4 echo 'exportJAVA_HOME=/usr/java/jdk1.8.0_121' >> /etc/profile echo 'exportJRE_HOME=${JAVA_HOME}/jre' >> /etc/profile echo 'exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib' >> /etc/profile echo 'exportPATH=${JAVA_HOME}/bin:$PATH' >> /etc/profile 3)导入java环境变量 1 source /etc/profile 4)测试jdk的配置 1 java-version 2.3 yum源的安装配置 In HD01-05： 2.3.1 yum源配置 1)增加yum源 1 2 curlhttps: //archive .cloudera.com /cm5/redhat/7/x86_64/cm/cloudera-manager .repo> /etc/yum .repos.d /cloudera-manager .repo yum install -yhttps: //dev .mysql.com /get/mysql57-community-release-el7-10 .noarch.rpm 注：此出隐含条件是有系统默认的yum源并可在线更新 2)开启5.6版的源 1 vim /etc/yum .repos.d /mysql-community .repo 开启5.6的源并修改如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 [mysql56-community] name=MySQL5.6CommunityServer baseurl=http: //repo .mysql.com /yum/mysql-5 .6-community /el/7/ $basearch/ enabled=1 gpgcheck=1 gpgkey= file : ///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql [mysql57-community] name=MySQL5.7CommunityServer baseurl=http: //repo .mysql.com /yum/mysql-5 .7-community /el/7/ $basearch/ enabled=0 gpgcheck=1 gpgkey= file : ///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql 注：修改enabled选项等于1表示开启，0表示关闭（其他源都配置为0） 2.3.2 安装基本的工具 In HD02-05： 1)安装配置工具 1 yum install -yvimwgetopenssh-clients 2)安装python 1 yum install -ypython 3)安装ntpd 1 yum install -ychrony 2.3.3 Cloudera Manager端yum源配置 In HD01： 1)安装Cloudera Manager包 1 yum install -ycloudera-manager-daemonscloudera-manager-server 2)安装mysql 1 yum install -ymysql-community-servermysql-community-develmysql-community-clientmysql-community-libsmysql-community-commonmysql-community-libs-compat 2.3.4 Cloudera Manager Agent端yum源配置 In HD01-05： 安装Cloudera Manager Agent包 1 yum install -ycloudera-manager-agentcloudera-manager-daemons 2.4 配置前的准备配置 2.4.1权限检查(单用户模式适用,可选) In HD01-05： 检查以下目录cloudera-scm用户具有完全的权限 检查当前目录权限： 1 ls -ld /opt/cloudera/ 显示如下： 1 drwxr-xr-x.4cloudera-scmcloudera-scm36Apr1519:35 /opt/cloudera/ 检查子目录权限： 1 ls -lR /opt/cloudera/ 显示如下 1 2 3 4 5 6 7 8 9 10 /opt/cloudera/ : total0 drwxr-xr-x.2cloudera-scmcloudera-scm6Mar1923:26csd drwxr-xr-x.2cloudera-scmcloudera-scm6Mar1923:26parcel-repo /opt/cloudera/csd : total0 /opt/cloudera/parcel-repo : total0 同样，检查服务器或客户端目录权限 1 2 3 4 ls -ld /var/log/cloudera-scm-server/ ls -lR /var/log/cloudera-scm-server/ ls -ld /var/lib/cloudera-scm-agent/ ls -lR /var/lib/cloudera-scm-agent/ 2.4.2 检查线程限制配置 In HD01-05： 1 vim /etc/security/limits .d /cloudera-scm .conf 修改配置如下： 1 2 3 4 5 6 7 8 9 # #(c)Copyright2014Cloudera,Inc. # cloudera-scmsoftnofile32768 cloudera-scmsoftnproc65536 cloudera-scmhardnofile1048576 cloudera-scmhardnprocunlimited cloudera-scmhardmemlockunlimited cloudera-scmsoftmemlockunlimited 2.4.3 指定运行单用户模式的用户名(单用户模式适用，不配置) In HD01-05： 1 vim /etc/default/cloudera-scm-agent 并取消以下行的注释 1 USER= "cloudera-scm" 2.4.4 创建压缩包存放目录 1 2 mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 2.4.5 配置无密码的sudo访问(非默认单用户模式适用,可选) In HD01-05: 1 visudo 增加如下组： 1 %cloudera-scmALL=(ALL)NOPASSWD:ALL 确认包含如下行： 1 Defaultssecure_path= /sbin : /bin : /usr/sbin : /usr/bin 2.4.6 配置su的limit In HD01-05： 1 vim /etc/pam .d /su 加入如下配置： 1 sessionrequiredpam_limits.so 2.4.7 NTP的配置 In HD01-5: 1)确认包含如下配置： 1 cat /etc/chrony .conf 应该包含如下配置： 1 2 3 4 server0.centos.pool.ntp.orgiburst server1.centos.pool.ntp.orgiburst server2.centos.pool.ntp.orgiburst server3.centos.pool.ntp.orgiburst 2)启动并配置ntpd服务自动启动 1 2 systemctlrestartchronyd systemctl enable chronyd 3)触发时间同步 1 chronycsources 2.4.8 安装MySQL JDBC Driver In HD01-05: 1 2 3 4 5 cd ~ wgethttp: //dev .mysql.com /get/Downloads/Connector-J/mysql-connector-java-5 .1.39. tar .gz tar zxvfmysql-connector-java-5.1.39. tar .gz mkdir /usr/share/java/ cp mysql-connector-java-5.1.39 /mysql-connector-java-5 .1.39-bin.jar /usr/share/java/mysql-connector-java .jar 2.4.9 配置公钥认证 In HD01: 1)生成秘钥 ssh-keygen -t rsa 注：以上一路回车 2)复制公钥到各个被登录的服务器 1 2 3 4 5 ssh -copy- id -i~/. ssh /id_rsa .pubroot@10.168.0.24 ssh -copy- id -i~/. ssh /id_rsa .pubroot@10.168.0.25 ssh -copy- id -i~/. ssh /id_rsa .pubroot@10.168.0.26 ssh -copy- id -i~/. ssh /id_rsa .pubroot@10.168.0.27 ssh -copy- id -i~/. ssh /id_rsa .pubroot@10.168.0.28 3)测试免密码登录 1 2 3 4 5 ssh 10.168.0.24 ssh 10.168.0.25 ssh 10.168.0.26 ssh 10.168.0.27 ssh 10.168.0.28 注：以上如果无需密码登记即成功 2.5 Cloudera Manager安装配置 In HD01： 2.5.1 修改mysql参数 1)关闭数据库 1 systemctlstopmysqld 2)备份ib_logfile文件 1 2 3 mkdir /var/lib/backup cd /var/lib/mysql/ mv ib_logfile* /var/lib/backup/ 3)修改MySQL配置 1 2 cp /etc/my .cnf /etc/my .cnf.default vim /etc/my .cnf 修改参数如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 [mysqld] datadir= /var/lib/mysql socket= /var/lib/mysql/mysql .sock user=mysql #RecommendedinstandardMySQLsetup sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES transaction-isolation=READ-COMMITTED #Disablingsymbolic-linksisrecommendedtopreventassortedsecurityrisks; #todoso,uncommentthisline: #symbolic-links=0 key_buffer_size=32M max_allowed_packet=32M thread_stack=256K thread_cache_size=64 query_cache_limit=8M query_cache_size=64M query_cache_type=1 max_connections=550 #expire_logs_days=10 #max_binlog_size=100M #log_binshouldbeonadiskwithenoughfreespace.Replace'/var/lib/mysql/mysql_binary_log'withanappropriatepathforyoursystem #andchownthespecifiedfoldertothemysqluser. log_bin= /var/lib/mysql/mysql_binary_log server- id =1 #ForMySQLversion5.1.8orlater.Commentoutbinlog_formatforolderversions. binlog_format=mixed read_buffer_size=2M read_rnd_buffer_size=16M sort_buffer_size=8M join_buffer_size=8M #InnoDBsettings innodb_file_per_table=1 innodb_flush_log_at_trx_commit=2 innodb_log_buffer_size=64M innodb_buffer_pool_size=4G innodb_thread_concurrency=8 innodb_flush_method=O_DIRECT innodb_log_file_size=512M [mysqld_safe] log-error= /var/log/mysqld .log pid- file = /var/run/mysqld/mysqld .pid sql_mode=STRICT_ALL_TABLES 2.5.2 启动并设置开机自动启动 1 2 systemctlstartmysqld systemctl enable mysqld 2.5.3 初始化数据库 1 mysql_secure_installation 向导如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 [...] Entercurrentpassword for root(enter for none): OK,successfullyusedpassword,movingon... [...] Setrootpassword?[Y /n ]y Newpassword: Re-enternewpassword: Removeanonymous users ?[Y /n ]y [...] Disallowrootloginremotely?[Y /n ]n [...] Remove test databaseandaccesstoit[Y /n ]y [...] Reloadprivilegetablesnow?[Y /n ]y All done ! 2.5.4 准备scm库 数据库配置： 1 2 3 4 mysql-uroot-p createdatabasescmdefaultcharacter set utf8; grantallprivilegeson*.*toscm@ 'hd01.cmdschool.org' identifiedby 'scm' ; flushprivileges; 修改数据库连接参数： 1 2 cp /etc/cloudera-scm-server/db .properties /etc/cloudera-scm-server/db .properties.default vim /etc/cloudera-scm-server/db .properties 修改如下参数： 1 2 3 4 5 6 com.cloudera.cmf.db. type =mysql com.cloudera.cmf.db.host=hd01.cmdschool.org com.cloudera.cmf.db.name=scm com.cloudera.cmf.db.user=scm com.cloudera.cmf.db.password=scm com.cloudera.cmf.db.setupType=EXTERNAL 2.5.5 创建附加数据库(可选) 1)附加数据库列表 Role Database User Password ActivityMonitor amon amon amon_password Reports Manager rman rman rman_password Hive Metastore Server metastore hive hive_password Sentry Server sentry sentry sentry_password Cloudera Navigator Audit Server nav nav nav_password Cloudera Navigator Metadata Server navms navms navms_password 2)创建数据库并配置管理账号密码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 mysql-uroot-p createdatabaseamondefaultcharacter set utf8; grantallprivilegesonamon.*to 'amon' @ '%' identifiedby 'amon_password' ; createdatabasermandefaultcharacter set utf8; grantallprivilegesonrman.*to 'rman' @ '%' identifiedby 'rman_password' ; createdatabasemetastoredefaultcharacter set utf8; grantallprivilegesonmetastore.*to 'hive' @ '%' identifiedby 'hive_password' ; createdatabasesentrydefaultcharacter set utf8; grantallprivilegesonsentry.*to 'sentry' @ '%' identifiedby 'sentry_password' ; createdatabasenavdefaultcharacter set utf8; grantallprivilegesonnav.*to 'nav' @ '%' identifiedby 'nav_password' ; createdatabasenavmsdefaultcharacter set utf8; grantallprivilegesonnavms.*to 'navms' @ '%' identifiedby 'navms_password' ; flushprivileges; 2.5.6 配置Oozie库(可选) 1)数据库权限配置 1 2 3 4 5 mysql-uroot-p createdatabaseooziedefaultcharacter set utf8; grantallprivilegesonoozie.*to 'oozie' @ 'localhost' identifiedby 'oozie' ; grantallprivilegesonoozie.*to 'oozie' @ '%' identifiedby 'oozie' ; flushprivileges; 2)配置Oozie库所需软连接 1 2 cd /opt/cloudera/parcels/CDH/lib/oozie/lib/ ln -s /usr/share/java/mysql-connector-java .jarmysql-connector-java.jar 2.5.7 启动服务并配置开机启动 1 2 /etc/init .d /cloudera-scm-server start chkconfigcloudera-scm-serveron 2.5.8 故障排除 1 tail -f /var/log/cloudera-scm-server/cloudera-scm-server .out 2.6 Cloudera Manager Agent安装 In HD01-05： 2.6.1 创建压缩包存放目录 1 2 mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 2.6.2 指定管理服务器和指定包存放目录 1 vim /etc/cloudera-scm-agent/config .ini 确保参数如下并启用： 1 2 3 server_host=hd01.cmdschool.org server_port=7182 parcel_dir= /opt/cloudera/parcels 2.6.3 指定运行单用户模式的用户名(仅用于单用户模式，不配置) 1 vim /etc/default/cloudera-scm-agent 取消以下行的注释 1 USER= "cloudera-scm" 2.6.4 启动服务并配置服务器开机启动 1 2 /etc/init .d /cloudera-scm-agent start chkconfigcloudera-scm-agenton 2.6.5 故障排除 如下命令监控启动服务的错误输出 1 tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent .out 2.7 登陆配置 In HD01： http://10.168.0.24:7180/cmf/login 注：界面部分请跟着向导走，相对容易，这是不再详述。 本文转自 tanzhenchao 51CTO博客，原文链接：http://blog.51cto.com/cmdschool/1916322，如需转载请自行联系原作者
2017-11-15
优秀的个人博客,低调大师

Hadoop Hive概念学习系列之Hive的元数据分析（三）

Hive 将元数据存储在 RDBMS 中，一般常用MySQL和 Derby。默认情况下，Hive 元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用， 为了支持多用户会话，则需要一个独立的元数据库，使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要增加以下步骤。 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5660328.html，如需转载请自行联系原作者
2017-11-14
优秀的个人博客,低调大师

Hadoop MapReduce概念学习系列之MapReduce 作业的生命周期（十）

这个过程分为以下 5 个步骤： 步骤 1 作业提交与初始化。用户提交作业后，首先由 JobClient 实例将作业相关信 息，比如将程序 jar 包、作业配置文件、分片元信息文件等上传到分布式文件系统（一般为HDFS）上，其中，分片元信息文件记录了每个输入分片的逻辑位置信息。然后 JobClient 通过 RPC通知JobTracker。JobTracker收到新作业提交请求后，由作业调度模块对作业进 行初始化 ：为作业创建一个JobInProgress对象以跟踪作业运行状况，而 obInProgress 则会 为每个Task创建一个TaskInProgress 对象以跟踪每个任务的运行状态，TaskInProgress 可能需要管理多个“Task 运行尝试”（称为“Task Attempt”）。 步骤 2 任务调度与监控。前面提到，任务调度和监控的功能均由JobTracker 完成。 TaskTracker 周期性地通过Heartbeat向JobTracker汇报本节点的资源使用情况，一旦出现空闲资源，JobTracker会按照一定的策略选择一个合适的任务使用该空闲资源，这由任务调 度器完成。任务调度器是一个可插拔的独立模块，且为双层架构，即首先选择作业，然后从该作业中选择任务，其中，选择任务时需要重点考虑数据本地性。此外，JobTracker跟踪作业的整个运行过程，并为作业的成功运行提供全方位的保障。首先，当TaskTracker或者Task失败时，转移计算任务 ；其次，当某个Task执行进度远落后于同一作业的其他 Task 时， 为之启动一个相同 Task，并选取计算快的Task结果作为最终结果。 步骤 3 任务运行环境准备。运行环境准备包括JVM启动和资源隔离，均由TaskTracker 实现。TaskTracker为每个Task启动一个独立的JVM 以避免不同 Task在运行过程中相互影响；同时，TaskTracker使用了操作系统进程实现资源隔离以防止Task滥用资源。 步骤 4 任务执行。TaskTracker 为 Task 准备好运行环境后，便会启动Task。在运行过 程中，每个 Task 的最新进度首先由 Task 通过 RPC 汇报给 TaskTracker，再由 TaskTracker 汇报给 JobTracker。 步骤 5 作业完成。待所有 Task 执行完毕后，整个作业执行成功。 本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5065020.html，如需转载请自行联系原作者
2017-11-13
优秀的个人博客,低调大师

【总结】hadoop-2.6.0-cdh5.9.0版本中Capacity Scheduler特点总结

特点： 1、分层队列：支持队列分层能够保证一个组织的子队列能够在允许其他队列使用资源之前共享资源，提供更多控制和预测性 2、容量保证：分配给队列一小部分容量，一定意义上说，这部分容量由队列掌控。提交到队列的所有应用程序将可以访问分配给队列的容量。 管理员可以为分配给每个队列的容量配置软限制和可选的硬限制。 3、安全保证：每个队列有严格的访问控制列表，访问控制列表控制用户能够提交应用一个独立的队列中。同时，安全保证用户不能查看或修改其他用户提交的应用，支持每个队列和系统管理员角色。 4、弹性：空闲资源可以分配到任何超出容量的队列。如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列释放的资源会归还给该队列 5、多租户：提供一套限制，防止当个应用、用户、队列垄断一个队列或者集群的资源。防止集群不堪重负 6、可操作性： 支持运行时修改配置，在运行时修改队列的定义和属性，比如容量和访问控制列表等。管理员以安全的方式尽量减少对用户的干扰。 管理员可以在运行时停止队列，保证已存在的应用运行完成，不允许行的应用提交到队列中，如果一个队列处于STOPPED状态，新应用不能够提交到队列或该队列的子队列中。现有应用继续执行直至完成，这样能够以优雅的方式将队列中的应用清空。管理员可以重启停止的队列 7、基于资源的调度：支持资源密集型应用程序，应用可以选择性指定比默认更高的资源。目前支持memory作为资源需求 本文转自巧克力黒 51CTO博客，原文链接：http://blog.51cto.com/10120275/1961437，如需转载请自行联系原作者
2017-11-09

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-03-02 大小: 1.42GB 下载: 3次
热门标签
Kubernetes OpenAi Gemini3 Nacos3 SpringCloud Service Mesh DeepSeek HarmonyOS6 Rocky Jdk25 SpringBoot4 Redis Docker

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册