首页 文章 精选 留言 我的

精选列表

搜索[linux系统],共10000篇文章
优秀的个人博客,低调大师

linux下安装hadoop步骤

下面的安装手册是我在hadoop第一版时做的,和现在的hadoop不太符合 一、前期准备: 下载hadoop: http://hadoop.apache.org/core/releases.html http://hadoop.apache.org/common/releases.html http://www.apache.org/dyn/closer.cgi/hadoop/core/ http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.1.tar.gz http://labs.xiaonei.com/apache-mirror/hadoop/ 二、硬件环境 共有3台机器,均使用的CentOS,Java使用的是jdk1.6.0。 三、安装JAVA6 sudo apt-get install sun-java6-jdk /etc/environment 打开之后加入:#中间是以英文的冒号隔开,记得windows中是以英文的分号做为分隔的 CLASSPATH=.:/usr/local/java/lib JAVA_HOME=/usr/local/java 三、配置host表 [root@hadoop ~]# vi /etc/hosts 127.0.0.1 localhost 192.168.13.100 namenode 192.168.13.108 datanode1 192.168.13.110 datanode2 [root@test ~]# vi /etc/hosts 127.0.0.1 localhost 192.168.13.100 namenode 192.168.13.108 datanode1 [root@test2 ~]# vi /etc/host 127.0.0.1 localhost 192.168.13.100 namenode 192.168.13.110 datanode2 添加用户和用户组 addgroup hadoop adduser hadoop usermod -a -G hadoop hadoop passwd hadoop 配置ssh: 服务端: su hadoop ssh-keygen -t rsa cp id_rsa.pub authorized_keys 客户端 chmod 700 /home/hadoop chmod 755 /home/hadoop/.ssh su hadoop cd /home mkdir .ssh 服务端: chmod 644 /home/hadoop/.ssh/authorized_keys scp authorized_keys datanode1:/home/hadoop/.ssh/ scp authorized_keys datanode2:/home/hadoop/.ssh/ ssh datanode1 ssh datanode2 如果ssh配置好了就会出现以下提示信息 The authenticity of host [dbrg-2] can't be established. Key fingerpr is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52. Are you sure you want to continue connecting (yes/no)? OpenSSH告诉你它不知道这台主机但是你不用担心这个问题你是第次登录这台主机键入“yes”这将把 这台主机“识别标记”加到“~/.ssh/know_hosts”文件中第 2次访问这台主机时候就不会再显示这条提示信 不过别忘了测试本机ssh dbrg-1 mkdir /home/hadoop/HadoopInstall tar -zxvf hadoop-0.20.1.tar.gz -C /home/hadoop/HadoopInstall/ cd /home/hadoop/HadoopInstall/ ln -s hadoop-0.20.1 hadoop export JAVA_HOME=/usr/local/java export CLASSPATH=.:/usr/local/java/lib export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf export PATH=$HADOOP_HOME/bin:$PATH cd $HADOOP_HOME/conf/ mkdir /home/hadoop/hadoop-conf cp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves /home/hadoop/hadoop-conf vi $HADOOP_HOME/hadoop-conf/hadoop-env.sh # The java implementation to use. Required. --修改成你自己jdk安装的目录 export JAVA_HOME=/usr/local/java export HADOOP_CLASSPATH=.:/usr/local/java/lib # The maximum amount of heap to use, in MB. Default is 1000.--根据你的内存大小调整 export HADOOP_HEAPSIZE=200 vi /home/hadoop/.bashrc export JAVA_HOME=/usr/local/java export CLASSPATH=.:/usr/local/java/lib export HADOOP_HOME=/home/hadoop/HadoopInstall/hadoop export HADOOP_CONF_DIR=/home/hadoop/hadoop-conf export PATH=$HADOOP_HOME/bin:$PATH 配置 namenode #vi $HADOOP_CONF_DIR/slaves 192.168.13.108 192.168.13.110 #vi $HADOOP_CONF_DIR/core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://192.168.13.100:9000</value> </property> </configuration> #vi $HADOOP_CONF_DIR/hdfs-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>3</value> <description>Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time. </description> </property> </configuration> #vi $HADOOP_CONF_DIR/mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>192.168.13.100:11000</value> </property> </configuration> ~ 在slave上的配置文件如下(hdfs-site.xml不需要配置): [root@test12 conf]# cat core-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://namenode:9000</value> </property> </configuration> [root@test12 conf]# cat mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>namenode:11000</value> </property> </configuration> 启动 export PATH=$HADOOP_HOME/bin:$PATH hadoop namenode -format start-all.sh 停止stop-all.sh 在hdfs上创建danchentest文件夹,上传文件到此目录下 $HADOOP_HOME/bin/hadoop fs -mkdir danchentest $HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/README.txt danchentest cd $HADOOP_HOME hadoop jar hadoop-0.20.1-examples.jar wordcount /user/hadoop/danchentest/README.txt output1 09/12/21 18:31:44 INFO input.FileInputFormat: Total input paths to process : 1 09/12/21 18:31:45 INFO mapred.JobClient: Running job: job_200912211824_0002 09/12/21 18:31:46 INFO mapred.JobClient: map 0% reduce 0% 09/12/21 18:31:53 INFO mapred.JobClient: map 100% reduce 0% 09/12/21 18:32:05 INFO mapred.JobClient: map 100% reduce 100% 09/12/21 18:32:07 INFO mapred.JobClient: Job complete: job_200912211824_0002 09/12/21 18:32:07 INFO mapred.JobClient: Counters: 17 09/12/21 18:32:07 INFO mapred.JobClient: Job Counters 09/12/21 18:32:07 INFO mapred.JobClient: Launched reduce tasks=1 查看输出结果文件,这个文件在hdfs上 [root@test11 hadoop]# hadoop fs -ls output1 Found 2 items drwxr-xr-x - root supergroup 0 2009-09-30 16:01 /user/root/output1/_logs -rw-r--r-- 3 root supergroup 1306 2009-09-30 16:01 /user/root/output1/part-r-00000 [root@test11 hadoop]# hadoop fs -cat output1/part-r-00000 (BIS), 1 (ECCN) 1 查看hdfs运行状态,可以通过web界面来访问http://192.168.13.100:50070/dfshealth.jsp;查看map-reduce信息, 可以通过web界面来访问http://192.168.13.100:50030/jobtracker.jsp;下面是直接命令行看到的结果。 出现08/01/25 16:31:40 INFO ipc.Client: Retrying connect to server: foo.bar.com/1.1.1.1:53567. Already tried 1 time(s). 的原因是没有格式化:hadoop namenode -format 本文转自yifangyou 51CTO博客,原文链接:http://blog.51cto.com/yifangyou/615898,如需转载请自行联系原作者

优秀的个人博客,低调大师

Linux 基础 - 磁盘管理 - 01

在宏观架构上,看一下我们要学习的这个磁盘,到底是位于什么位置。 它又是与计算机架构的其他部件如何协同工作的, 从而就可以找到在学习这块知识时,需要额外注意的点。 也能懵懂的知道,以后再进行磁盘文件读取速度优化的时候,从哪几个部件 ,哪几个步骤进行着手。 最底层的,往往是最重要的 - 基础不牢,地动山摇! 关注最基础的部分,反而会事半功倍。继续..... 本文转自Mr2Left 51CTO博客,原文链接:http://blog.51cto.com/caihong/1980812

优秀的个人博客,低调大师

Linux常用26条命令

1. cd 切换目录 cd path 切换至当前目录下的path目录 cd .. 返回上一级目录 cd / 切换至根目录 cd /usr 切换至根目录下的usr目录 2. ls 显示当前目录内容 ls 默认显示当前目录内容 ls -a 显示包括隐藏文件在内的所有内容 ls -s 按大小排序显示 ls -l 显示包含细节 权限、大小、创建时间等 ls -h 显示文件大小,按K、M、G等作为单位 ls -r 逆向显示 ls -R 递归显示内容及其子目录的内容 ls -f 显示文件类型 3. touch 创建文件 touch filename 创建一个名为filename的空白文件 4. rm 删除 rm -f 强制删除文件 rm -i 会提示确认删除 rm -v 会显示删除进度 rm -rf 删除文件夹/目录 –ri –vi 效果同上 rmdir 删除文件夹/目录 5. cp 复制 cp a.txt local/b 即将文件a.txt复制到local目录下并且命名为b cp –a 将文件特性一并复制 cp –i 复制前会先询问 cp –r 递归复制,会复制整个目录包括其子目录 cp –p 连同文件属性 6. 查看文件内容 cat 会从上至下显示文件全部内容 more 会分页显示文件内容 more +n 从第n行开始显示 more –n 定义滚动一屏为n行 more +/point 查找”point”字符串,并从该字符串前两行开始显示 more 操作命令: Enter 向下n行,需要定义:默认为1行; Ctrl+F 向下滚动一屏; 空格键 向下滚动一屏; Ctrl+B 返回上一屏 q 退出more V 调用vi编辑器 less 也是分页显示文件 less 会分页显示文件内容 less +n 从第n行开始显示 less –n 定义滚动一屏为n行 less +/point 查找”point”字符串,并从该字符串前两行开始显示 less -m 显示类似more命令的百分比 less 操作命令: /字符串:向下搜索“字符串”的功能 ?字符串:向上搜索“字符串”的功能 n:重复前一个搜索(与 / 或 ? 有关) N:反向重复前一个搜索(与 / 或 ? 有关) b 向后翻一页 d 向后翻半页 h 显示帮助界面 Q 退出less 命令 u 向前滚动半页 y 向前滚动一行 空格键滚动一行 回车键滚动一页 [pagedown]: 向下翻动一页 [pageup]: 向上翻动一页 7. grep查找某文件中某一字符串 grep JND server.xml 即在server.xml中查找JND字符串 8. pwd输出当前所在目录 9. ps显示正在执行进程的执行情况 ps –A 显示所有进程 ps –x 列出所有进程,包括没有终端机的 ps –u 并列出使用者名称和使用时间 ps –r 只列出正在执行的前台进程 top 和ps功能类似,并会几秒钟更新一次,便于用于追踪。 10. kill 用于终止某一正在运行的进程 Kill 234 即将pid为234的进程杀死 11.显示当前时间 date 会显示当前时间 date –u 使用格林尼治时间 date –s 设置时间 cal 显示当前月的日历 cal 2017 显示2017一整年的日历 12. shutdown关机 根用户才能使用该命令 shutdown –r 关机后重启 shutdown –t 2 两分钟内关机 reboot 快速关机,不降内存或缓冲区内东西写会硬盘 13. du 显示文件目录所占磁盘空间大小 du –h 以KB、MB、GB为单位显示大小,提高可读性 du –s 只列出目录下各文件总和 du –a 显示全部目录以及子目录每个文件大小 14. 压缩解压命令 bzip2/bunzip2 扩展名为bz2的压缩/解压缩工具 gzip/gunzip 扩展名为gz的压缩/解压缩工具 zip/unzip 扩展名为zip的压缩/解压缩工具 bzip2 filename 文件被压缩并保存为filename.bz2 bunzip2filename.bz2 解压缩filename.bz2后被删除,而以解压后的filename代替 bzip2filename.bz2 file1 file2 file3 /usr/local/files 把file1、file2、file3以及/usr/local/files目录下内容压缩为filename.bz2 gzip、zip命令与bzip2命令类似 15.tar 用于备份 -c 创建一个新归档 -f 当与-c选项一起使用时,创建的tar文件使用该选项指定的文件名;当与-x选项一起使用时,则解除该选项指定的归档 -t 显示包括在tar文件中的文件列表 -v 显示文件的归档进度 -x 从归档中抽取文件 -z 使用gzip压缩tar文件 -j 使用bzip2压缩tar文件 tar –cvf filename.tar directory/file /home/mine 将directory/file、/home/mine放入归档文件中 tar –tvf filename.tar 列出filename.tar文件的内容 tar –xvf filename.tar 抽取tar文件的命令 16. su 切换用户 su 用户名 没有用户名则默认为root 使用 exit 退出该用户 17. useradd 增加用户 使用需用root用户 useradd zqh 增加一个名为zqh的用户 18. chmod 修改权限 如 chmod a+rwx file.txt 表示给file.txt所有用户增加所有权限 其中 a表示全部用户,此外还有u(拥有文件的用户)、g(所有者所在的群)、o(其他用户); +表示增加权限,此外还有 –(删除权限)、=(覆写为后面接的权限); r读取权限、w写入权限、x执行权限,rwx即所有权限 chomd u-rwx 即删除文件者所有权限 此外还可以用数字来表达: r为4、w为2、x为1 都相加为7即表示所有权限 语法为:chomd ugo filename u(文件所有者)、g(所有者所在的群)、o(其他用户)各对应一个数字 chmod 751filename 即chmod u+rwx,g=rx,0=x filename 19. chgrp用于改变文件所属用户组 chgrp users -R ./dir # 即递把dir目录下中的所有文件和子目录下所有文件的用户组都修改为users 20. chown 用于改变文件所有者 用法与chgrp类似 21. ping 测试目标主机网络是否正常 ping 主机名或IP地址 22. telnet 用于远程登录 telnet主机名或IP地址 23. ftp 用于传输文件 ftp主机名或IP地址 24. find 查找符合条件的文件 find /usr/local/myfile -mtime 0 # 即查找今天内/usr/local/myfile目录下修改过的文件 find /usr/local/myfile –user zqh # 即查找目录/usr/local/myfile下所有者为zqh的文件 25. clear 清屏 26. passwd修改用户密码 根据提示输入旧密码后输入新密码即可

优秀的个人博客,低调大师

docker linux rabbitmq 安裝

java spring rabbitmq demo :下载 1.docker search 2.docker pull docker pull rabbitmq 3.docker run 非集群 docker run -d --name myrabbitmq -p 5672:5672 -p 15672:15672 rabbitmq 4.docker ps 5.docker exec 6.docker test rabbit.host=192.168.206.238 rabbit.username=guest rabbit.password=guest rabbit.port=5672 捐助开发者 在兴趣的驱动下,写一个免费的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(支持支付宝和微信 以及扣扣群),没钱捧个人场,谢谢各位。 个人主页:http://knight-black-bob.iteye.com/ 谢谢您的赞助,我会做的更好!

优秀的个人博客,低调大师

docker linux centos 安装 tomcat

37.4 创建docker centos-ssh-root-java-tomcat 37.4.0 前提 拥有一个 centos-ssh-root-java 37.4.1 编辑 dockerfile ############################################ # version:apache-tomcat-7.0.75 # desc : 当前版本安装的7.0.75 ############################################ # 设置继承自我们创建的 tools 镜像 FROM curiousby/centos-ssh-root-java:original # 下面是一些创建者的基本信息 MAINTAINER baoyou curiousby@163.com # 复制 apache-tomcat-7.0.75.tar.gz 文件到镜像中 ADD apache-tomcat-7.0.75.tar.gz /usr/local/ # 设置软连接 RUN ln -s /usr/local/apache-tomcat-7.0.75 /usr/local/tomcat # 设置 tomcat 的环境变量,若读者有其他的环境变量需要设置 ENV CATALINA_HOME /usr/local/apache-tomcat-7.0.75 # 容器需要开放Tomcat 8080端口 EXPOSE 8080 COPY autorun.sh /usr/local/tomcat/bin/autorun.sh RUN chmod u+x /usr/local/tomcat/bin/autorun.sh # 自启动 CMD ["/usr/local/tomcat/bin/autorun.sh"] 37.4.2 编辑自动启动脚本 #!/bin/bash source ~/.bashrc sh /usr/local/tomcat/bin/catalina.sh run 37.4.3 执行命令 cd centos-ssh-root-java cp ../apache-tomcat-7.0.75.tar.gz . vim Dockerfile tar -xf apache-tomcat-7.0.75.tar.gz vim apache-tomcat-7.0.75.tar.gz/bin/catalina.sh 添加代码 export JAVA_HOME=/usr/local/jdk1.7.0_79 export JRE_HOME=/usr/local/jdk1.7.0_79/jre export CATALINA_HOME=/usr/local/apache-tomcat-7.0.75 export CATALINA_BASE=/usr/local/apache-tomcat-7.0.75 export CATALINA_TMPDIR=/usr/local/apache-tomcat-7.0.75/temp cp apache-tomcat-7.0.75.tar.gz/bin/catalina.sh . vim autorun.sh #!/bin/bash source ~/.bashrc sh /usr/local/tomcat/bin/catalina.sh run docker build -t "curiousby/centos-ssh-root-java-tomcat:original" . docker run -d -p 8080:8080 curiousby/centos-ssh-root-java-tomcat:original -v /docker/tomcat1/logs/:/usr/local/tomcat/logs docker run -d -p 8081:8080 curiousby/centos-ssh-root-java-tomcat:original -v /docker/tomcat1/logs/:/usr/local/tomcat/logs docker run -d -p 8082:8080 curiousby/centos-ssh-root-java-tomcat:original -v /docker/tomcat1/logs/:/usr/local/tomcat/logs 37.4.4 运行 build 日志 #build 运行日志 [root@localhost centos-ssh-root-java-tomcat]# docker build -t curiousby/centos-ssh-root-java-tomcat:original . Sending build context to Docker daemon 8.967MB Step 1/9 : FROM curiousby/centos-ssh-root-java:original ---> b927a708d880 Step 2/9 : MAINTAINER baoyou curiousby@163.com ---> Running in c714e382a89f ---> 8843e826df75 Removing intermediate container c714e382a89f Step 3/9 : ADD apache-tomcat-7.0.75.tar.gz /usr/local/ ---> d658ff1a2ba5 Removing intermediate container efb719168d48 Step 4/9 : RUN ln -s /usr/local/apache-tomcat-7.0.75 /usr/local/tomcat ---> Running in 799eb96d5d2a ---> 96623ac69cbd Removing intermediate container 799eb96d5d2a Step 5/9 : ENV CATALINA_HOME /usr/local/apache-tomcat-7.0.75 ---> Running in c59375c73a1d ---> b707eae87825 Removing intermediate container c59375c73a1d Step 6/9 : EXPOSE 8080 ---> Running in 482ebe032044 ---> e52bb95bb46e Removing intermediate container 482ebe032044 Step 7/9 : COPY autorun.sh /usr/local/tomcat/bin/autorun.sh ---> 3cfd1c86bccf Removing intermediate container c1aa90cb1121 Step 8/9 : RUN chmod u+x /usr/local/tomcat/bin/autorun.sh ---> Running in 4b3ccdeb4f53 ---> 54988bebb05c Removing intermediate container 4b3ccdeb4f53 Step 9/9 : CMD /usr/local/tomcat/bin/autorun.sh ---> Running in c1235f2f90e2 ---> 7dd208c74262 Removing intermediate container c1235f2f90e2 Successfully built 7dd208c74262 Successfully tagged curiousby/centos-ssh-root-java-tomcat:original [root@localhost centos-ssh-root-java-tomcat]# 37.4.5 运行 run 结果 docker run -d -p 8080:8080 curiousby/centos-ssh-root-java-tomcat:original docker run -d -p 8081:8080 curiousby/centos-ssh-root-java-tomcat:original docker run -d -p 8082:8080 curiousby/centos-ssh-root-java-tomcat:original docker run -d -p 8080:8080 curiousby/centos-ssh-root-java-tomcat:original -v /docker/tomcat1/logs/:/usr/local/tomcat/logs docker run -d -p 8081:8080 curiousby/centos-ssh-root-java-tomcat:original -v /docker/tomcat1/logs/:/usr/local/tomcat/logs docker run -d -p 8082:8080 curiousby/centos-ssh-root-java-tomcat:original -v /docker/tomcat1/logs/:/usr/local/tomcat/logs 37.4.6运行 run web 页面 捐助开发者 在兴趣的驱动下,写一个免费的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(支持支付宝和微信 以及扣扣群),没钱捧个人场,谢谢各位。 个人主页:http://knight-black-bob.iteye.com/ 谢谢您的赞助,我会做的更好!

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册