首页 文章 精选 留言 我的

精选列表

搜索[基础搭建]，共10000篇文章
优秀的个人博客,低调大师

centos6搭建私有云

网盘，又叫“云存储”。国内的有百度云、华为网盘等。云，分公有云和私有云以及混合云。 实验环境 centos6.9_x64 实验软件 latest.rpm owncloud-7.0.2.tar.bz2 软件安装 wgethttp://mirror.webtatic.com/yum/el6/latest.rpm rpm -ivh latest.rpm yum clean all yum makecache -y yum -y install httpd mysql mysql-server yum -y install httpd-manual mod_ssl mod_perl mod_auth_mysql yum -y install php55w php55w-bcmath php55w-cli php55w-common php55w-devel php55w-fpm php55w-gd php55w-imap php55w-ldap php55w-mbstring php55w-mcrypt php55w-mysql php55w-odbc php55w-pdophp55w-pearphp55w-pecl-igbinary php55w-xml php55w-xmlrpc php55w-opcache php55w-intl php55w-pecl-memcache service mysqld restart mysqladmin -uroot password数据库密码 mysql -uroot -p数据库密码 Welcome to the MySQLmonitor. Commands end with ; or \g. Your MySQL connection idis 3 Server version: 5.1.73Source distribution Copyright (c) 2000, 2013,Oracle and/or its affiliates. All rights reserved. Oracle is a registeredtrademark of Oracle Corporation and/or its affiliates. Other namesmay be trademarks of their respective owners. Type 'help;' or '\h' forhelp. Type '\c' to clear the current input statement. mysql> vim /etc/httpd/conf/httpd.conf #ServerNamewww.example.com:80 ServerName *:80 #AddTypeapplication/x-tar .tgz #AddTypeapplication/x-tar .tgz AddType application/x-tar.tgz AddType application/x-httpd-php .php <Directory /> Options FollowSymLinks AllowOverride None </Directory> <Directory /> Options FollowSymLinks AllowOverride All </Directory> touch /var/www/html/test.php vim /var/www/html/test.php <?php phpinfo(); ?> service httpd restart (生产环境建议使用reload) mysql -uroot -p数据库密码 mysql> create database ownclouddb; Query OK, 1 rowaffected (0.00 sec) mysql> GRANT ALL ON ownclouddb.* TO ownclouduser@localhost IDENTIFIED BY '123456'; 123456为数据库密码 Query OK, 0 rowsaffected (0.01 sec) mysql> flush privileges; Query OK, 0 rowsaffected (0.00 sec) mysql -uownclouduser -p数据库密码 Welcome to the MySQLmonitor. Commands end with ; or \g. Your MySQL connection idis 5 Server version: 5.1.73Source distribution Copyright (c) 2000, 2013,Oracle and/or its affiliates. All rights reserved. Oracle is a registeredtrademark of Oracle Corporation and/or its affiliates. Other namesmay be trademarks of their respective owners. Type 'help;' or '\h' forhelp. Type '\c' to clear the current input statement. mysql> http://192.168.1.128/test.php tar xvf owncloud-7.0.2.tar.bz2 mv owncloud /var/www/html/ chown -R apache:apache /var/www/html/owncloud/ chmod -R 777 /var/www/html/owncloud/ http://服务器ip/owncloud/ vim /etc/php.ini ; This directive allows you to disable certain classes for security reasons. ; It receives a comma-delimited list of class names. This directive is ; *NOT* affected by whether Safe Mode is turned On or Off. ; http://php.net/disable-classes disable_classes =删除此行 本文转自 mailfile 51CTO博客，原文链接：http://blog.51cto.com/mailfile/1933216，如需转载请自行联系原作者
2017-11-27
优秀的个人博客,低调大师

memcached演练(1) 搭建memcached服务

memcached已经火了好多年了，现在网上关于memcached的资源相当多了，我就不浪费话语了。干脆写一个实战系列，坚持一切用实施说话。 环境介绍 Linux虚拟机 内核信息 [root@hadoop1 ~]# uname -a Linux hadoop1 2.6.32-358.el6.i686 内存：1G 安装过程 1.准备编译环境，安装必须的gcc，make工具，如果没有安装yum，最好安装下。网上有很多共享的yum源。 2.下载最新版本的libevent 1 #wgethttps://github.com/libevent/libevent/releases/download/release-2.0.22-stable/libevent-2.0.22-stable.tar.gz 3.解压libevent对应压缩包 1 #tarzxvflibevent-2.0.22-stable.tar.gz 解压之后的文件路径：/u01/software/libevent-2.0.22-stable 3.编译libevent 1 2 3 4 5 6 $ cd /u01/software/libevent-2 .0.22-stable $. /configure -prefix= /usr/local/libevent $ make $ make install 确认安装结果 $ ls -al /usr/local/lib | grep libevent 4.下载最新版本的memcached 1 $wgethttp: //memcached .org /latest 5.解压memcached对应压缩包 1 $ tar zxvfmemcached-1.4.29. tar .gz 解压之后的文件路径：/u01/software/memcached-1.4.29 6.编译memcached 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 $ cd /u01/software/memcached-1 .4.29 $[root@hadoop1memcached-1.4.29] #./configure-help `configure'configuresmemcached1.4.29toadapttomanykindsofsystems. Usage:. /configure [OPTION]...[VAR=VALUE]... Configuration: -h,--helpdisplaythishelpand exit --help=shortdisplayoptionsspecifictothispackage --help=recursivedisplaytheshorthelpofalltheincludedpackages -V,--versiondisplayversioninformationand exit -q,--quiet,--silent do notprint`checking...'messages --cache- file =FILEcache test results in FILE[disabled] -C,--config-cache alias for `--cache- file =config.cache' -n,--no-create do notcreateoutputfiles --srcdir=DIR find thesources in DIR[configure dir or`..'] Installationdirectories: --prefix=PREFIX install architecture-independentfiles in PREFIX [ /usr/local ] ... Finetuningoftheinstallationdirectories: --bindir=DIRuserexecutables[EPREFIX /bin ] --sbindir=DIRsystemadminexecutables[EPREFIX /sbin ] --libexecdir=DIRprogramexecutables[EPREFIX /libexec ] --sysconfdir=DIR read -onlysingle-machinedata[PREFIX /etc ] --sharedstatedir=DIRmodifiablearchitecture-independentdata[PREFIX /com ] --localstatedir=DIRmodifiablesingle-machinedata[PREFIX /var ] --libdir=DIRobjectcodelibraries[EPREFIX /lib ] --includedir=DIRCheaderfiles[PREFIX /include ] --oldincludedir=DIRCheaderfiles for non-gcc[ /usr/include ] --datarootdir=DIR read -onlyarch.-independentdataroot[PREFIX /share ] --datadir=DIR read -onlyarchitecture-independentdata[DATAROOTDIR] --infodir=DIRinfodocumentation[DATAROOTDIR /info ] --localedir=DIRlocale-dependentdata[DATAROOTDIR /locale ] --mandir=DIR man documentation[DATAROOTDIR /man ] --docdir=DIRdocumentationroot[DATAROOTDIR /doc/memcached ] --htmldir=DIRhtmldocumentation[DOCDIR] --dvidir=DIRdvidocumentation[DOCDIR] --pdfdir=DIRpdfdocumentation[DOCDIR] --psdir=DIR ps documentation[DOCDIR] OptionalPackages: --with-PACKAGE[=ARG]usePACKAGE[ARG= yes ] --without-PACKAGE do notusePACKAGE(sameas--with-PACKAGE=no) --with-libevent=PATHSpecifypathtolibeventinstallation #./configure--prefix=/usr/local/memcached--with-libevent=/usr/local/lib/ #make #makeinstall 这时候memcached安装成功了 启动memcached 1 $ /usr/local/memcached/bin/memcached 报错 error while loading shared libraries: libevent-2.0.so.5: cannot open shared object file: No such file or directory 解决思路 ##跟踪运行memcached所有加载库文件的路径 1 2 3 4 5 6 7 8 9 10 11 12 13 $LD_DEBUG=libsLD_DEBUG=libs. /memcached - v 15862: find library=libevent-2.0.so.5[0];searching 15862:searchcache= /etc/ld .so.cache 15862:searchpath= /lib/tls/i686/sse2 : /lib/tls/i686 : /lib/tls/sse2 : /lib/tls : /lib/i686/sse2 : /lib/i686 : /lib/sse2 : /lib : /usr/lib/tls/i686/sse2 : /usr/lib/tls/i686 : /usr/lib/tls/sse2 : /usr/lib/tls : /usr/lib/i686/sse2 : /usr/lib/i686 : /usr/lib/sse2 : /usr/lib (systemsearchpath) 15862:trying file = /lib/tls/i686/sse2/libevent-2 .0.so.5 15862:trying file = /lib/tls/i686/libevent-2 .0.so.5 15862:trying file = /lib/tls/sse2/libevent-2 .0.so.5 15862:trying file = /lib/tls/libevent-2 .0.so.5 15862:trying file = /lib/i686/sse2/libevent-2 .0.so.5 15862:trying file = /lib/i686/libevent-2 .0.so.5 15862:trying file = /lib/sse2/libevent-2 .0.so.5 15862:trying file = /lib/libevent-2 .0.so.5 ... 首先确认建立软连接 1 2 3 4 $ ls /usr/local/lib/libevent-2 .0.so.5 /usr/local/lib/libevent-2 .0.so.5 $ ln -s /usr/local/lib/libevent-2 .0.so.5 /usr/lib/i686/libevent-2 .0.so.5 如果以root用户登陆，必须指定-u参数 1 $ /usr/local/memcached/bin/memcached -uhadoop 确认memcached是否启动成功 1 2 3 4 5 6 $ ps -ef| grep memcached hadoop158914034022:45pts /4 00:00:00 /usr/local/memcached/bin/memcached -uhadoop root1589915561022:45pts /5 00:00:00 grep memcached #netstat-tlnp|grepmemcached tcp000.0.0.0:112110.0.0.0:*LISTEN15891 /memcached tcp00:::11211:::*LISTEN15891 /memcached 最后telnet 确认下 1 2 3 4 5 6 7 8 $telnet127.0.0.111211 Trying127.0.0.1... Connectedto127.0.0.1. Escapecharacteris '^]' . stats STATpid15891 STATuptime86 STAT time 1470494793 OK。至此memcached1.4.9版本已经成功在机器上安装。个人感觉最麻烦的地方，就是处理libevent。 参考了很多资源，才把问题解决。 memcached设置自启动 为了方便，现将memcached执行变更下权限 最简单的启动方式 只需在/etc/rc.d/rc.local中加入一行 /usr/local/memcached/bin/memcached -d -m 20 -p 11211 -u hadoop 注意 -d：设置为后台进程 -u：指向用户 -p:端口 -m:内存 推荐的方式 2.1.拷贝memcached源码包的memcached.sysv拷贝到/etc/init.d，做为memcached的启动脚本 1 $ cp /u01/software/memcached-1 .4.29 /scripts/memcached .sysv /etc/init .d /memcached 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 [root@hadoop1bin] #vi/etc/init.d/memcached #!/bin/sh # #chkconfig:-5545 #description:Thememcacheddaemonisanetworkmemorycacheservice. #processname:memcached #config:/etc/sysconfig/memcached #Sourcefunctionlibrary. . /etc/rc .d /init .d /functions PORT=11211 USER=nobody MAXCONN=1024 CACHESIZE=64 OPTIONS= "" if [-f /etc/sysconfig/memcached ]; then . /etc/sysconfig/memcached fi #Checkthatnetworkingisup. if [ "$NETWORKING" = "no" ] then exit 0 fi RETVAL=0 prog= "memcached" start(){ echo -n$ "Starting$prog:" #insurethat/var/run/memcachedhasproperpermissions chown $USER /var/run/memcached daemonmemcached-d-p$PORT-u$USER-m$CACHESIZE-c$MAXCONN-P /var/run/memcached/memcached .pid$OPTIONS RETVAL=$? echo [$RETVAL- eq 0]&& touch /var/lock/subsys/memcached } stop(){ echo -n$ "Stopping$prog:" killprocmemcached RETVAL=$? echo if [$RETVAL- eq 0]; then rm -f /var/lock/subsys/memcached rm -f /var/run/memcached/memcached .pid fi } restart(){ stop start } #Seehowwewerecalled. case "$1" in start) start ;; stop) stop ;; status) statusmemcached ;; restart|reload) restart ;; condrestart) [-f /var/lock/subsys/memcached ]&&restart||: ;; *) echo $ "Usage:$0{start|stop|status|restart|reload|condrestart}" exit 1 esac exit $? 修改下面这一句（其实就将memcached 命令指向咱们的全路径） daemonmemcached-d -p $PORT -u $USER -m $CACHESIZE -c $MAXCONN -P /var/run/memcached/memcached.pid $OPTIONS daemon/usr/local/memcached/bin/memcached -d -p $PORT -u $USER -m $CACHESIZE -c $MAXCONN -P /var/run/memcached/memcached.pid $OPTIONS 配置自启动 1 2 3 [root@hadoop1bin]$chkconfigmemcachedon [root@hadoop1bin]$chkconfig| grep memcached memcached0:off1:off2:on3:on4:on5:on6:off 安装nc 1 [root@hadoop1yum.repos.d]$yum install nc memcached 自带的stats命令，对搜索不太友好。为了很好的搜索，借助nc工具。 比如，想查找connection相关的参数 1 2 3 4 [root@hadoop1yum.repos.d] #echostats|nc127.0.0.111211|grepconnection STATcurr_connections10 STATtotal_connections13 STATconnection_structures11 配合nc使用形式，个人参考网上资源，简单罗列下 1 2 3 watch "echostats|nc127.0.0.111211" printf "stats\r\n" |nc127.0.0.111211 echo stats|nc127.0.0.111211 ------------------------------------------------------------ The End 接下来，演练的内容是通过telnet命令行和JAVA 客户端工具，访问memcachd. 本文转自 randy_shandong 51CTO博客，原文链接：http://blog.51cto.com/dba10g/1835163，如需转载请自行联系原作者
2017-11-27
优秀的个人博客,低调大师

搭建部署Hadoop 之Yarn

Yarn集群资源管理系统 Yarn 角色及概念 •Yarn 是 Hadoop 的一个通用的资源管理系统 • Yarn 角色 – Resourcemanager – Nodemanager – ApplicationMaster – Container – Client • ResourceManager – 处理客户端请求 – 启动 / 监控 ApplicationMaster – 监控 NodeManager – 资源分配与调度 • NodeManager – 单个节点上的资源管理 – 处理来自 ResourceManager 的命令 – 处理来自 ApplicationMaster 的命令 • Container – 对任务运行行环境的抽象,封装了 CPU 、内存等 – 多维资源以及环境变量、启动命令等任务运行相关的信息资源分配与调度 • ApplicationMaster – 数据切分 – 为应用程序申请资源,并分配给内部任务 – 任务监控与容错 • Client – 用户与 YARN 交互的客户端程序 – 提交应用程序、监控应用程序状态,杀死应用程序等 Yarn 结构 • YARN 的核心思想 • 将 JobTracker 和 TaskTacker 进行分离,它由下面几大构成组件: – ResourceManager 一个全局的资源管理器 – NodeManager 每个节点(RM)代理 – ApplicationMaster 表示每个应用 – 每一个 ApplicationMaster 有多个 Container 在NodeManager 上运行 系统规划 主机 角色 软件 192.168.4.1master Resource Manager YARN 192.168.4.2node1 Node Manager YARN 192.168.4.3node2 Node ManagerYARN 192.168.4.4node3Node ManagerYARN Yarn 安装与配置 具体实验准备 可以参考http://blog.51cto.com/13558754/2066708 # ssh 192.168.4.1 # cd /usr/local/hadoop/ # cd etc/hadoop/ # cp mapred-site.xml.template mapred-site.xml # vim mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value>// 配置使用yarn 资源管理系统 </property> </configuration> # vim yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value>//配置Resource Manager 角色 </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>// 一个 java 的类 真实环境与开发人员沟通 </property> </configuration> 配置完成以后 # for i in node{1..3}//将配置文件同步到所有主机 > do > rsync -azSH --delete /usr/local/hadoop/etc/hadoop/ ${i}:/usr/local/hadoop/etc/hadoop -e 'ssh' > done # cd /usr/local/hadoop/ 启动 yarn 服务 # ./sbin/start-yarn.sh 在所有主机上执行 jps, 查看是否启动成功 # for i in master node{1..3} > do > echo ${i} > ssh ${i} "jps" > done master 3312 Jps 3005 ResourceManager node1 3284 Jps 3162 NodeManager node2 2882 NodeManager 3004 Jps node3 2961 Jps 2831 NodeManager 显示所有可用的计算节点 # ./bin/yarn node -list 18/01/31 06:41:56 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:3 Node-Id Node-StateNode-Http-AddressNumber-of-Running-Containers node3:46007 RUNNING node3:8042 0 node2:54895 RUNNING node2:8042 0 node1:51087 RUNNING node1:8042 resourcemanager nodemangager 验证 Yarn # bin/hadoop fs -ls /input Found 3 items -rw-r--r-- 2 root supergroup 84854 2018-01-29 21:37 /input/LICENSE.txt -rw-r--r-- 2 root supergroup 14978 2018-01-29 21:37 /input/NOTICE.txt -rw-r--r-- 2 root supergroup 1366 2018-01-29 21:37 /input/README.txt 使用yarn 统计 样本文件中单词出现频率 # ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount hdfs://master:9000/input hdfs://master:9000/output 查看结果 # ./bin/hadoop fs -cat hdfs://master:9000/output/* Yarn 节点管理 [root@master ~] # cat /etc/hosts 192.168.4.1master 192.168.4.2node1 192.168.4.3node2 192.168.4.4node3 192.168.4.5newnode [root@newnode ~]# rsync -azSH --delete master:/usr/local/hadoop /usr/local [root@master hadoop]# ./sbin/start-yarn.sh 添加节点 [root@master hadoop]# ./bin/yarn node -list 18/01/28 21:06:57 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:3 Node-Id Node-State Node-Http-Address Number-of-Running-Containers node1:33596 RUNNING node1:8042 0 node2:53475 RUNNING node2:8042 0 node3:34736 RUNNING node3:8042 0 [root@newnode hadoop]# sbin/yarn-daemon.sh start nodemanager [root@master hadoop]# ./bin/yarn node -list 18/01/28 21:07:53 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:4 Node-Id Node-State Node-Http-Address Number-of-Running-Containers newnode:39690 RUNNING newnode:8042 0 node1:33596 RUNNING node1:8042 0 node2:53475 RUNNING node2:8042 0 node3:34736 RUNNING node3:8042 0 删除节点 [root@newnode hadoop]# sbin/yarn-daemon.sh stop nodemanager //不会立即删除 [root@master hadoop]# ./bin/yarn node -list 18/01/28 21:11:31 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:4 Node-Id Node-State Node-Http-Address Number-of-Running-Containers newnode:39690 RUNNING newnode:8042 0 node1:33596 RUNNING node1:8042 0 node2:53475 RUNNING node2:8042 0 node3:34736 RUNNING node3:8042 0 //需要重新启动服务 [root@master hadoop]# ./sbin/stop-yarn.sh [root@master hadoop]# ./sbin/start-yarn.sh [root@master hadoop]# ./bin/yarn node -list 18/01/28 21:12:46 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:3 Node-Id Node-State Node-Http-Address Number-of-Running-Containers node1:42010 RUNNING node1:8042 0 node2:55043 RUNNING node2:8042 0 node3:38256 RUNNING node3:8042 0 本文转自 Xuenqlve 51CTO博客，原文链接：http://blog.51cto.com/13558754/2067497，如需转载请自行联系原作者
2017-11-23
优秀的个人博客,低调大师

spark 入门及集群环境搭建

软件环境: VMware workstation 11.0 linux ：CentOS 6.7 hadoop-2.7.3 jdk-1.0.7_67 spark-2.1.0-bin-hadoop2.7/ 安装虚拟机和jdk就不再此赘述。 直接讲解安装hadoop和spark的安装。 一。下载hadoop源码包。点击此处下载:http://hadoop.apache.org/ 1.下载后解压到指定的目录下。 tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop 2.解压后进入目录 cd /usr/hadoop/hadoop-2.7.3 3.修改配置文件: 进入到cd /hadoop-2.7.3/etc/hadoop下需要修改几个配置文件 1> cpetc/hadoop/hadoop-env.sh.template.hadoop-env.sh cpetc/hadoop/hdfs-site.xml.templete hdfs-site.xml cpetc/hadoop/core-site.templete core-site.xml cp etc/hadoop/mapred-env.sh.templete mapred-env.sh cp etc/hadoop/mapred-site.templete mapred-site.sh cp etc/hadoop/slaves.templete slaves cp etc/yarn-env.sh.templete yarn-env.sh cp etc/yarn-site.xml.templete yarn-site.xml 注意: 一般修改系统配置文件时最好做一个备份或者复制后修改，就像这样的。 hadoop-env.sh 配置文件的内容 #Thejavaimplementationtouse. exportJAVA_HOME=/opt/modules/jdk1.7.0_67/ 这是需要修改为自己机器安装的jdk的位置。其他文件内容不需要修改。 hdfs-site.xml <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.block.size</name> <value>134217728</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoopdata/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoopdata/dfs/data</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/home/hadoopdata/checkpoint/dfs/cname</value> </property> <property> <name>fs.checkpoint.edits.dir</name> <value>/home/hadoopdata/checkpoint/dfs/cname</value> </property> <property> <name>dfs.http.address</name> <value>master:50070</value> </property> <property> <name>dfs.secondary.http.address</name> <value>slave1:50090</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>true</value> </property> </configuration> 3> core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/modules/hadoop-2.7.3/data/tmp</value> </property> </configuration> 4> mapred-env.sh exportJAVA_HOME=/usr/local/java/jdk1.7.0_67/ 修改为自己电脑的jdk路径。 5> mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <final>true</final> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> <property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <property> <!-- 配置map任务的主节点 运行在哪台节点--> <name>mapred.job.tracker</name> <value>master:9001</value> </property> 6> slaves 设置需要几个节点运行 master slave1 slave2 7> yarn-env.sh JAVA=$JAVA_HOME/bin/java 引用jdk的路径 8> yarn-site.xml <property> <name>yarn.resourcemanager.hostname</name> <value>salve2 </value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>slave2:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>slave2:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>slave2:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>slave2:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>slave2:8088</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/opt/modules/hadoop-2.7.3/tmp/logs</value> </property> 注意: 修改完配置后，需要将hadoop分发到其他节点。 slave1和slave2. scp -r /usr/hadoop/hadoop-2.7.3 root@slave1:/usr/hadoop scp -r /usr/hadoop/hadoop-2.7.3 root@slave2:/usr/hadoop 然后需要修改环境变量文件。可以修改当前用户的 环境变量文件，就是~./bash_rc 或全局变量文件 /etc/profile export JAVA_HOME=/usr/local/jdk-1.7.0_67 export PATH=:PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin: 保存 :wq; 然后可以把环境变量文件发送给其他节点。 二. 格式化namenode节点 hadoop namenode -format 会看到一堆输出信息。然后会提示namenode 格式化成功的提示。 三。启动集群. 可以全部启动，也可以单独 启动。 hadoop 安装路径下有个sbin 目录，下是存放的是系统的启动脚本。 全部启动: start-all.sh 单独启动节点: hadoop-daemon.sh start namenode/datanode xxx. 启动后用jps查看进程。 本文转自 ChinaUnicom110 51CTO博客，原文链接:http://blog.51cto.com/xingyue2011/1947302
2017-11-22
优秀的个人博客,低调大师

搭建cadvisor + influxdb + grafana 监控系统

启动influxdb 1 2 dockerrun-d--net=host-ePRE_CREATE_DB=cadvisor--nameinfluxsrvtutum/ influxdb:0.8.8 启动cadvisor 1 2 3 4 5 6 7 8 9 10 dockerrun\ --volume=/: /rootfs :ro\ --volume= /var/run : /var/run :rw\ --volume= /sys : /sys :ro\ --volume= /var/lib/docker/ : /var/lib/docker :ro\ --publish=8080:8080\ --detach= true \ --name=cadvisor\ -eRUN_OPTS= "-storage_driver=influxdb-storage_driver_host=hostip:8086" \ logbase /cadvisor-influxdb 异常： 一开始 在 influxdb 执行 list series 无数据， 知道cadvisor没有往db 传 /usr/bin/cadvisor --logtostderr --v=2 查看详细日志，一般是网络问题，官方镜像一直有问题，无法读取网络状态，所以更换镜像 启动grafana 1 2 3 4 5 6 7 8 9 10 dockerrun-d--net=host\ -eHTTP_USER=admin\ -eHTTP_PASS=admin\ -eINFLUXDB_HOST=localhost\ -eINFLUXDB_PORT=8086\ -eINFLUXDB_NAME=cadvisor\ -eINFLUXDB_USER=root\ -eINFLUXDB_PASS=root\ --namegrafanagrafana/ grafana:2.0.2 本文转自银狐博客51CTO博客，原文链接http://blog.51cto.com/foxhound/1774410如需转载请自行联系原作者 战狐
2017-11-22
优秀的个人博客,低调大师

CentOS7搭建lamp环境

Mysql安装 CentOS 7 版本将MySQL数据库软件从默认的程序列表中移除，用mariadb代替了。MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。 [root@localhost ~]# yum install mariadb-server mariadb [root@localhost ~]# yum install mysql-devel [root@localhost ~]# systemctl restart mariadb#重启Mysql [root@localhost ~]# mysql#进入Mysql Welcome to the MariaDB monitor. Commands end with ; or \g. Your MariaDB connection id is 4 Server version: 5.5.56-MariaDB MariaDB Server Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. MariaDB [(none)]>set password for 'root'@'localhost' =password('password'); #设置密码 Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> quit#退出 Bye [root@localhost ~]# maraidb -u root -p123456#再次进入Mysql 123456为我设置的密码 [root@localhost ~]# mysql --version#查看版本信息 mariadb数据库的相关命令是： systemctl start mariadb #启动MariaDB systemctl stop mariadb #停止MariaDB systemctl restart mariadb #重启MariaDB systemctl enable mariadb #设置开机启动 安装Apache [root@localhost ~]# yum install httpd [root@localhost ~]# httpd -v#查看版本信息 安装php 一、删除旧版本 如果已经安装过php就先删除之前的版本。检查方法如下： yum list installed | grep php 然后将安装的包进行删除 比如 yum remove php.x86_64 php-cli.x86_64 php-common.x86_64 php-gd.x86_64 php-ldap.x86_64也可直接 yum remove php* 具体根据显示的安装列表的名称进行相应的删除 二、安装新版版 1. 更新yum安装包 CentOS 7.x rpm -Uvh https://mirror.webtatic.com/yum/el7/epel-release.rpm rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm CentOS 6.x rpm -Uvh http://mirror.webtatic.com/yum/el6/latest.rpm CentOS 5.x rpm -Uvh http://mirror.webtatic.com/yum/el5/latest.rpm 2. 通过云进行php和其他组件的安装 yum install php70w.x86_64 php70w-cli.x86_64 php70w-common.x86_64 php70w-gd.x86_64 php70w-ldap.x86_64 php70w-mbstring.x86_64 php70w-mcrypt.x86_64 php70w-mysql.x86_64 php70w-pdo.x86_64 yum install php70w-fpm 其他需要的组件在自行安装。 三、其他版本php安装 如果想安装php5.5或者5.6版本，将上面的php70w替换为php55w或者php56w就可以了。 查看版本信息 [root@localhost ~]# php -v PHP 7.0.24 (cli) (built: Sep 30 2017 10:10:28) ( NTS ) Copyright (c) 1997-2017 The PHP Group Zend Engine v3.0.0, Copyright (c) 1998-2017 Zend Technologies 四，添加配置信息 [root@localhost ~]# cd /var/www/html/ [root@localhost html]#vim index.php <?php phpinfo(); ?> 五，重启httpd [root@localhost ~]# systemctl restart httpd
2017-11-18
优秀的个人博客,低调大师

Android环境搭建及相关命令

1.下载SDK 到Android官方的镜像网站 http://androidappdocs.appspot.com/sdk/index.html 下载，网页有介绍quick start，解压后，打开SDK Setup.exe选择下载相应的SDK版本。 同时建议添加环境变量ANDROID_SDK_HOME E:\ ,否则到了后面创建 SD卡镜像文件的时候，Android是默认把那几百MB的镜像文件放在C:\Documents and Settings\<user>\.Android里面的。而设置ANDROID_SDK_HOME为E:\，重启系统生效后，SD卡img文件就放在E:\.Android里面。而且Android的相关配置也是放在E:\.Android里面的，不用担心系统重装/恢复c盘所带来的影响！ 2. 安装ADT插件 到http://androidappdocs.appspot.com/sdk/eclipse-adt.html下载，按照网页的介绍安装。安装后启动Eclipse，打开Eclipse的菜单window -> Preferences，找到Android, 设置SDK Location为SDK Setup.exe所在的文件夹。 3. 创建SD卡镜像 创建SD卡镜像文件，推荐使用SDK Setup.exe来创建，对于新手来说，使用adb.exe的命令是比较麻烦的！可以使用android list avd来查看已成功建立的模拟器！ 4. 启动模拟器 在SDK Setup.exe，start刚才创建的SD卡镜像，模拟器就会启动！对此，可以把下面的批处理保存为start_emulator.bat ，放在SDK Setup.exe所在文件夹，方便启动模拟器： cd tools emulator -avd AndroidVD -no-boot-anim 其中AndroidVD是该SD卡镜像文件的名字！-no-boot-anim表示启动没有动画显示状态，降低启动时的CPU占用！ 5. 在非Eclipse的IDE的项目创建 可以使用以下批处理创建项目，保存为Create_Project_MyAndroidApp.bat，放在SDK Setup.exe所在文件夹，方便创建，每次创建新的项目，需要修改里面的相关内容，所以推荐使用Eclipse来创建项目！ cd tools android create project --target 1 --name MyAndroidApp --path G:\StudyAndroid\MyAndroidAppProject --activity MyAndroidAppActivity --package com.can.myandroid --target 1 这里的1，需要运行android list targets查看 --name 项目名 --path 项目文件夹路径 --activity main Activity的名字 --package 包名 更多的介绍在官方网站Developing In Other IDEs http://androidappdocs.appspot.com/guide/developing/other-ide.html 6. 其他adb命令 安装软件 adb -s emulator-5554 install -r MyAndroidApp-debug.apk路径 卸载软件 adb uninstall com.can.myandroid(这是package名) adb uninstall -k <package名>卸载软件但是保留配置和缓存文件 还有其他的adb命令，请运行adb /?查看帮助。 7. Android模拟器和真机的不同之处 * 不支持呼叫和接听实际来电；但可以通过控制台模拟电话呼叫(呼入和呼出) * 不支持USB连接 * 不支持相机/视频捕捉 * 不支持音频输入(捕捉)；但支持输出(重放) * 不支持扩展耳机 * 不能确定连接状态 * 不能确定电池电量水平和交流充电状态 * 不能确定SD卡的插入/弹出 * 不支持蓝牙 8.在Eclipse中查看Android SDK源代码的方法 首先就是要下载Android SDK的源代码，方法不具体描述，大概就是使用Git来下载。 然后把源代码放到在相应的平台文件夹里面的source目录，例如放到D:\android-sdk-windows\platforms\android-7里面的source目录（目录没有就新建）。 这样在Eclipse，当鼠标放在某个函数时，会显示该函数的声明和形参。在debug时可以跳转到这些源代码里面，而不会提示这些源代码文件not found。 本文转自 Icansoft 51CTO博客，原文链接： http://blog.51cto.com/android/298314
2017-11-15

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次
Rocky Linux

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

时间: 2026-01-03 大小: 1.42GB 下载: 2次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
热门标签
Nacos3 DeepSeek Service Mesh SpringCloud SpringBoot4 Gemini3 Jdk25 Kubernetes Rocky Docker HarmonyOS6 Redis OpenAi

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册