首页 文章 精选 留言 我的

精选列表

搜索[部署]，共10003篇文章
优秀的个人博客,低调大师

Hive的安装部署

1.环境准备 1.1软件版本 hive-0.14 下载地址 2.配置 安装hive的前提，必需安装好hadoop环境，可以参考我之前Hadoop社区版搭建，先搭建好hadoop环境；接下来我们开始配置hive 2.1环境变量 sudo vi /etc/profile HIVE_HOME=/home/hadoop/source/hive-0.14.0 PATH=$HIVE_HOME/bin export HIVE_HOME 2.2hive-site.xml <configuration> <property> <name>datanucleus.fixedDatastore</name> <value>false</value> </property> <property> <name>hive.metastore.execute.setugi</name> <value>true</value> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/home/hive/warehouse</value> <description>location of default database for the warehouse</description> </property> <!-- metadata database connection configuration --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://10.211.55.18:3306/hive?useUnicode=true&characterEncoding=UTF-8&createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> <description>password to use against metastore database</description> </property> <property> <name>hive.hwi.listen.host</name> <value>10.211.55.18</value> <description>This is the host address the Hive Web Interface will listen on</description> </property> <property> <name>hive.hwi.listen.port</name> <value>9999</value> <description>This is the port the Hive Web Interface will listen on</description> </property> <!-- configure hwi war package location --> <!-- <property> <name>hive.hwi.war.file</name> <value>lib/hive-hwi-0.14.0.war</value> <description>This is the WAR file with the jsp content for Hive Web Interface</description> </property> --> </configuration> 2.3hive-env.sh # Set HADOOP_HOME to point to a specific hadoop install directory HADOOP_HOME=/home/hadoop/source/hadoop-2.5.1 2.4启动 [hadoop@cloud001 ~]$ hive Logging initialized using configuration in file:/home/hadoop/source/hive-0.14.0/conf/hive-log4j.properties SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/hadoop/source/hadoop-2.5.1/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/hadoop/source/hive-0.14.0/lib/hive-jdbc-0.14.0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] hive> 至此，hive配置完成。 注：由于配置的是mysql驱动，所以需要把mysql的驱动包放到$HIVE_HOME/lib下
2016-04-19
优秀的个人博客,低调大师

【监控】ganglia 安装部署

Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使得 Ganglia 可以实现良好的扩展。gmond 带来的系统负载非常少，这使得它成为在集群中各台计算机上运行的一段代码，而不会影响用户性能。 ganglia的架构为层次架构，安装的过程主要是主节点和从节点的安装 1 ganglia 主节点上安装步骤 1.1 安装php和apache 默认是安装的！ [root@rac1 ~]#yum install httpd php 1.2 安装必要的库， [root@rac1 ~]#yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python--devel libXrender-devel zlib libpng freetype libjpeg fontconfig gd libxml2 pcre pcre-devel [root@rac1 ~]#yum -y install libconfuse libconfuse-devel.x86_64 # 安装confuse库 [root@rac1 ~]#yum install rrdtool 1.3 安装rrdtiool库 [root@rac1 ~]# wget http://oss.oetiker.ch/rrdtool/pub/rrdtool.tar.gz [root@rac1 ~]# tar zxvf rrdtool.tar.gz [root@rac1 ~]# cd rrdtool-1.4.5 [root@rac1 ~]# ./configure --prefix=/usr && make -j8 && make install [root@rac1 ~]# which rrdtool [root@rac1 ~]# ldconfig 1.4 开始正式安装ganglia [root@rac1 ~]# wget http://cdnetworks-kr-1.dl.sourceforge.net/project/ganglia/ganglia%20monitoring%20core/3.1.7/ganglia-3.1.7.tar.gz [root@rac1 ~]# tar zxvf ganglia-3.1.7.tar.gz [root@rac1 ~]# cd ganglia-3.1.7 [root@rac1 ~]# ./configure --with-gmetad --sysconfdir=/etc/ganglia && make -j8 && make install # 在主节点上需要编译安装gmetad进程，这个是和从节点安装的主要不同点 [root@rac1 ~]# cp -rp ./web /var/www/html/ganglia [root@rac1 ~]# cp ./gmetad/gmetad.init /etc/init.d/gmetad [root@rac1 ~]# cp ./gmond/gmond.init /etc/init.d/gmond [root@rac1 ~]# gmond -t |tee /etc/ganglia/gmond.conf # generate initial gmond config 1.5 为rrds创建存放图片文件的目录以及进行配置 [root@rac1 ~]# mkdir -p /u01/ganglia/rrds [root@rac1 ~]# chown -R nobody:nobody /u01/ganglia [root@rac1 ~]# vi /var/www/html/ganglia/conf.php# 修改以下内容，指定rrds存放位置 # Where gmetad stores the rrd archives. $gmetad_root = "/u01/ganglia"; $rrds = "$gmetad_root/rrds"; 1.6 对gmond gmetad 以及apache进行配置 [root@rac1 ~]# vi /etc/ganglia/gmetad.conf # 修改将data source后面的字符串换成你的集群名字，例如my cluster 将rrd_rootdir "/u01/ganglia/rrds"加入最后一行 [root@rac1 ~]# vi /etc/ganglia/gmond.conf # 修改将cluster中的name后换成你的集群名字，例如my cluster，记得一定要和gmetad.conf中data source的集群名字一样， # 另外，为了将ganglia监控集群的传播消息方式由广播改为单博，需要注释掉和默认的广播地址239.2.11.71相关的所有行，将host=主节点ip或是主机名加入udp_send_channel所在的配置组中。对于单播和多播的区别，建议查看ganglia的手册 vi /etc/httpd/conf.d/php.conf# 去掉最后一行的井号，使得apache可以解析php脚本 1.7 启动gmond gmetad 以及apache [root@rac1 ~]# /etc/init.d/gmetad start #start service [root@rac1 ~]# /etc/init.d/gmond start service httpd start [root@rac1 ~]# 主节点上这三个进程成功启动后，可以使用浏览器通过 ：主机的ip/ganglia 这样URL来访问，会发现集群中有一个主机被监控 ganglia 2 从节点上安装步骤 在主机点上，使用pgm远程操作rac[2-3]三台机器，在这三台机器上安装gmond进程，来作为从进程 ganglia 2.1 安装依赖的库 pgmscp -A rac[2-3] ganglia-3.1.7.tar.gz /home/hadoop pgm rac[2-3] "yum -y install apr-devel apr-util check-devel cairo-devel pango-devel libxml2-devel glib2-devel dbus-devel freetype-devel fontconfig-devel gcc-c++ expat-devel python-devel libXrender-devel zlib libpng freetype libjpeg fontconfig gd libxml2 pcre pcre-devel" pgm rac[2-3] "yum -y install libconfuse libconfuse-devel.x86_64 -b test" ganglia 2.2 配置安装ganglia pgmscp rac[2-3] ganglia-3.1.7.tar.gz /home/hadoop pgm rac[2-3] "tar zxvf ganglia-3.1.7.tar.gz" pgm rac[2-3] "cd ganglia-3.1.7 && ./configure --sysconfdir=/etc/ganglia && make -j8 && make install" pgm rac[2-3] "cd ganglia-3.1.7 && cp gmond/gmond.init /etc/init.d/gmond " pgmscp -A rac[2-3] /etc/ganglia/gmond.conf /home/hadoop pgm rac[2-3] "cp /home/hadoop/gmond.conf /etc/ganglia/" # 将本机的gmond.conf复制到远程的ganglia配置目录下,其实也可以采用gmond -t |tee /etc/ganglia/gmond.conf来生成配置文件的,但是,还是需要再配置成和主节点上一样的,不如直接将主节点上的复制过来,一步到位:) ganglia 2.3启动从节点上的gmond进程 pgm rac[2-3] "/etc/init.d/gmond start" # 从节点上gmond进程成功启动后，可以使用浏览器通过 ：主机的ip/ganglia 这样URL来访问，会发现集群中多了三个被监控的主机! 结果截图： 1.JPG 2.JPG 3.JPG
2012-02-13
优秀的个人博客,低调大师

一键部署 spark

前言 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。其底层采用Scala这种函数式语言书写而成，并且所提供的API深度借鉴Scala函数式的编程思想，提供与Scala类似的编程接口 1.准备工作 下载安装包 scala-2.9.3：一种编程语言 Scala下载地址：http://www.scala-lang.org/download/spark-1.4.0：必须是编译好的Spark，如果下载的是Source，则需要自己根据环境使用SBT或者MAVEN重新编译才能使用。 Spark下载地址：http://spark.apache.org/downloads.html。 如图所示： 2、安装scala-2.9.3 3、安装spark-1.4.0 4、修改Spark配置文件 在spark-env.sh末端添加如下几行： spark-defaults.conf中还有如下配置参数： 5、测试spark安装是否成功 6、使用wordcount例子测试，启动spark-shell之前先上传一份文件到hdfs 7、代码： valfile=sc.textFile("hdfs://hadoop.master:9000/data/intput/wordcount.data") valcount=file.flatMap(line=>(line.split(""))).map(word=>(word,1)).reduceByKey(_+_) count.collect() count.textAsFile("hdfs://hadoop.master:9000/data/output") 理解上面的代码你需要学习scala语言。 总结：山不厌高，海不厌深。
2019-10-19
优秀的个人博客,低调大师

docker部署gitlab-runner

1、配置启动脚本 version: '3.1' services: gitlab-ce: image: 'gitlab/gitlab-ce:latest' container_name: gitlab-ce restart: always hostname: 'gitlab.localhost.com' environment: GITLAB_OMNIBUS_CONFIG: | external_url 'http://192.168.31.109' # external_url是项目生成时的前缀域名 ports: - '80:80' - '443:443' - '10022:22' volumes: - '/root/gitlab-ce/home/config:/etc/gitlab' - '/root/gitlab-ce/home/logs:/var/log/gitlab' - '/root/gitlab-ce/home/data:/var/opt/gitlab' networks: - 'default' gitlab-runner: image: 'gitlab/gitlab-runner:latest' container_name: gitlab-runner depends_on: - 'gitlab-ce' restart: always volumes: - '/root/gitlab-ce/runnerconfig:/etc/gitlab-runner' - '/var/run/docker.sock:/var/run/docker.sock' networks: - 'default' links: - 'gitlab-ce:gitlab.localhost.com' networks: default: driver: 'bridge' 两个容器使用gitlab.localhost.com一个域名，以便在注册runner时可以访问网络 2、注册runner docker-compose exec gitlab-runner /bin/bash # 连接进入 gitlab-runner 容器 gitlab-runner register # 进入容器后执行的命令 Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/): http://gitlab.localhost.com # gitlab 的访问路径 Please enter the gitlab-ci token for this runner: JLP2Rk2qcUZEfs_WLrTv # 注册令牌，在 gitlab 中获取 Please enter the gitlab-ci description for this runner: [gitlab-runner]: test_runner # runner 的名字 Please enter the gitlab-ci tags for this runner (comma separated): test # runner 的 tag Registering runner... succeeded runner=JLP2Rk2q Please enter the executor: docker-ssh, parallels, docker+machine, docker-ssh+machine, docker, shell, ssh, virtualbox, kubernetes: docker # 使用 docker 作为输出模式 Please enter the default Docker image (e.g. ruby:2.1): alpine:latest # 使用的基础镜像 Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded! ############################# 注册成功后会显示以上信息，然后执行下面的命令进行启动 ################################### gitlab-runner start # 启动该 runner 3、检查runner状态
2019-07-27
优秀的个人博客,低调大师

containerd与kubernetes集成部署

概念介绍 cri (Container runtime interface) cri is a containerd plugin implementation of Kubernetes container runtime interface (CRI). cri是 kubernetes的容器运行时接口的容器插件实现。 containerd containerd is an industry-standard container runtime with an emphasis on simplicity, robustness and portability. containerd完全支持运行容器的的CRI运行时规范。 cri在containerd1.1以上的版本的原生插件。它内置于containerd并默认启用。 cri-o OCI-based implementation of Kubernetes Container Runtime Interface. kubernetes为了兼容cri和oci孵化了项目cri-o。为了架设在cri和oci之间的一座桥梁。由此cri-o既兼容cri插件实现又兼容oci的容器运行时标准。 oci (Open Container Initiative) oci是由多家公司成立的项目,并由linux基金会进行管理,致力于container runtime 的标准的制定和runc的开发等工作。 runc runc is a CLI tool for spawning and running containers according to the OCI specification. runc，是对于OCI标准的一个参考实现，是一个可以用于创建和运行容器的CLI(command-line interface)工具。 概述 由于docker嵌入了太多自身内容,为了减轻容器负担。此次选用containerd作为kubernetes的容器实现方案。本文将带大家讲述如何搭建一个集成了containerd的k8s集群。 环境准备 下载containerd二进制包。我这里已经编译并打包了好了，内含containerd、runc、crictl、ctr等。 下载链接：https://github.com/cuisongliu/containerd-dist/releases/download/v1.2.4/containerd-v1.2.4.tar.gz runc版本： 1.0.1-dev containerd版本： v1.2.4 安装containerd 解压二进制包并生成默认文件 tar -C /usr/local/bin -xzf containerd-v1.2.4.tar.gz chmod a+x /usr/local/bin/* containerd config default > /etc/containerd/config.toml 生成的默认配置文件注意 [grpc] 的 address 字段默认为 /run/containerd/containerd.sock 配置文件其他参数含义参照github地址： https://github.com/containerd/containerd/blob/master/docs/man/containerd-config.toml.5.md 在 /etc/systemd/system 目录下编写文件 containerd.service内容如下 [Unit] Description=containerd container runtime Documentation=https://containerd.io After=network.target [Service] ExecStartPre=/sbin/modprobe overlay ExecStart=/usr/local/bin/containerd Restart=always RestartSec=5 Delegate=yes KillMode=process OOMScoreAdjust=-999 LimitNOFILE=1048576 # Having non-zero Limit*s causes performance problems due to accounting overhead # in the kernel. We recommend using cgroups to do container-local accounting. LimitNPROC=infinity LimitCORE=infinity [Install] WantedBy=multi-user.target 启动containerd systemctl enable containerd systemctl restart containerd systemctl status containerd 看containerd启动状态如果是running就没有问题。下面我们测试拉取一下hub的镜像。 测试containerd ctr images pull docker.io/library/nginx:alpine 看到输出done，说明containerd运行一切正常。 使用crictl连接containerd,下一步我们使用crictl连接containerd。 修改crictl的配置文件,在 /etc/crictl.yaml 写入以下内容： runtime-endpoint: unix:///run/containerd/containerd.sock image-endpoint: unix:///run/containerd/containerd.sock timeout: 10 debug: false 这里注意runtime-endpoint 和image-endpoint 必须与/etc/containerd/config.toml中配置保持一致。 验证一下cri插件是否可用 crictl pull nginx:alpine crictl rmi nginx:alpine crictl images 其中 crictl images 会列出所有的cri容器镜像。 到此我们的cri + containerd已经完成整合了。下一步我们需要修改kubeadm配置进行安装。 导入kubenetes离线镜像包 这里我们就需要导入k8s的离线镜像包了。这里需要注意一下，kubernetes是调用的cri接口,所以导入时也需要从cri插件导入镜像。 cri导入镜像命令(cri导入镜像)： ctr cri load images.tar containerd导入镜像命令(containerd导入镜像)： ctr images import images.tar 修改kubelet配置和kubeadm安装时配置 在 kubelet配置文件 10-kubeadm.conf 的[Service] 结点加入以下配置： Environment="KUBELET_EXTRA_ARGS=--container-runtime=remote --runtime-request-timeout=15m --container-runtime-endpoint=unix:///run/containerd/containerd.sock" 在kubeadm配置文件 kubeadm.yaml 中加入 apiVersion: kubeadm.k8s.io/v1beta1 kind: InitConfiguration nodeRegistration: criSocket: /run/containerd/containerd.sock name: containerd 到此containerd和kubernetes的集成就完成了。下面可以直接安装即可。
2019-05-17

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
热门标签
SpringBoot4 OpenAi Docker Redis SpringCloud HarmonyOS6 DeepSeek Jdk25 Kubernetes Nacos3 Gemini3 Service Mesh Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册