首页 文章 精选 留言 我的

精选列表

搜索[搭建]，共10000篇文章
优秀的个人博客,低调大师

centos6搭建私有云

网盘，又叫“云存储”。国内的有百度云、华为网盘等。云，分公有云和私有云以及混合云。 实验环境 centos6.9_x64 实验软件 latest.rpm owncloud-7.0.2.tar.bz2 软件安装 wgethttp://mirror.webtatic.com/yum/el6/latest.rpm rpm -ivh latest.rpm yum clean all yum makecache -y yum -y install httpd mysql mysql-server yum -y install httpd-manual mod_ssl mod_perl mod_auth_mysql yum -y install php55w php55w-bcmath php55w-cli php55w-common php55w-devel php55w-fpm php55w-gd php55w-imap php55w-ldap php55w-mbstring php55w-mcrypt php55w-mysql php55w-odbc php55w-pdophp55w-pearphp55w-pecl-igbinary php55w-xml php55w-xmlrpc php55w-opcache php55w-intl php55w-pecl-memcache service mysqld restart mysqladmin -uroot password数据库密码 mysql -uroot -p数据库密码 Welcome to the MySQLmonitor. Commands end with ; or \g. Your MySQL connection idis 3 Server version: 5.1.73Source distribution Copyright (c) 2000, 2013,Oracle and/or its affiliates. All rights reserved. Oracle is a registeredtrademark of Oracle Corporation and/or its affiliates. Other namesmay be trademarks of their respective owners. Type 'help;' or '\h' forhelp. Type '\c' to clear the current input statement. mysql> vim /etc/httpd/conf/httpd.conf #ServerNamewww.example.com:80 ServerName *:80 #AddTypeapplication/x-tar .tgz #AddTypeapplication/x-tar .tgz AddType application/x-tar.tgz AddType application/x-httpd-php .php <Directory /> Options FollowSymLinks AllowOverride None </Directory> <Directory /> Options FollowSymLinks AllowOverride All </Directory> touch /var/www/html/test.php vim /var/www/html/test.php <?php phpinfo(); ?> service httpd restart (生产环境建议使用reload) mysql -uroot -p数据库密码 mysql> create database ownclouddb; Query OK, 1 rowaffected (0.00 sec) mysql> GRANT ALL ON ownclouddb.* TO ownclouduser@localhost IDENTIFIED BY '123456'; 123456为数据库密码 Query OK, 0 rowsaffected (0.01 sec) mysql> flush privileges; Query OK, 0 rowsaffected (0.00 sec) mysql -uownclouduser -p数据库密码 Welcome to the MySQLmonitor. Commands end with ; or \g. Your MySQL connection idis 5 Server version: 5.1.73Source distribution Copyright (c) 2000, 2013,Oracle and/or its affiliates. All rights reserved. Oracle is a registeredtrademark of Oracle Corporation and/or its affiliates. Other namesmay be trademarks of their respective owners. Type 'help;' or '\h' forhelp. Type '\c' to clear the current input statement. mysql> http://192.168.1.128/test.php tar xvf owncloud-7.0.2.tar.bz2 mv owncloud /var/www/html/ chown -R apache:apache /var/www/html/owncloud/ chmod -R 777 /var/www/html/owncloud/ http://服务器ip/owncloud/ vim /etc/php.ini ; This directive allows you to disable certain classes for security reasons. ; It receives a comma-delimited list of class names. This directive is ; *NOT* affected by whether Safe Mode is turned On or Off. ; http://php.net/disable-classes disable_classes =删除此行 本文转自 mailfile 51CTO博客，原文链接：http://blog.51cto.com/mailfile/1933216，如需转载请自行联系原作者
2017-11-27
优秀的个人博客,低调大师

搭建部署Hadoop 之Yarn

Yarn集群资源管理系统 Yarn 角色及概念 •Yarn 是 Hadoop 的一个通用的资源管理系统 • Yarn 角色 – Resourcemanager – Nodemanager – ApplicationMaster – Container – Client • ResourceManager – 处理客户端请求 – 启动 / 监控 ApplicationMaster – 监控 NodeManager – 资源分配与调度 • NodeManager – 单个节点上的资源管理 – 处理来自 ResourceManager 的命令 – 处理来自 ApplicationMaster 的命令 • Container – 对任务运行行环境的抽象,封装了 CPU 、内存等 – 多维资源以及环境变量、启动命令等任务运行相关的信息资源分配与调度 • ApplicationMaster – 数据切分 – 为应用程序申请资源,并分配给内部任务 – 任务监控与容错 • Client – 用户与 YARN 交互的客户端程序 – 提交应用程序、监控应用程序状态,杀死应用程序等 Yarn 结构 • YARN 的核心思想 • 将 JobTracker 和 TaskTacker 进行分离,它由下面几大构成组件: – ResourceManager 一个全局的资源管理器 – NodeManager 每个节点(RM)代理 – ApplicationMaster 表示每个应用 – 每一个 ApplicationMaster 有多个 Container 在NodeManager 上运行 系统规划 主机 角色 软件 192.168.4.1master Resource Manager YARN 192.168.4.2node1 Node Manager YARN 192.168.4.3node2 Node ManagerYARN 192.168.4.4node3Node ManagerYARN Yarn 安装与配置 具体实验准备 可以参考http://blog.51cto.com/13558754/2066708 # ssh 192.168.4.1 # cd /usr/local/hadoop/ # cd etc/hadoop/ # cp mapred-site.xml.template mapred-site.xml # vim mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value>// 配置使用yarn 资源管理系统 </property> </configuration> # vim yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value>//配置Resource Manager 角色 </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>// 一个 java 的类 真实环境与开发人员沟通 </property> </configuration> 配置完成以后 # for i in node{1..3}//将配置文件同步到所有主机 > do > rsync -azSH --delete /usr/local/hadoop/etc/hadoop/ ${i}:/usr/local/hadoop/etc/hadoop -e 'ssh' > done # cd /usr/local/hadoop/ 启动 yarn 服务 # ./sbin/start-yarn.sh 在所有主机上执行 jps, 查看是否启动成功 # for i in master node{1..3} > do > echo ${i} > ssh ${i} "jps" > done master 3312 Jps 3005 ResourceManager node1 3284 Jps 3162 NodeManager node2 2882 NodeManager 3004 Jps node3 2961 Jps 2831 NodeManager 显示所有可用的计算节点 # ./bin/yarn node -list 18/01/31 06:41:56 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:3 Node-Id Node-StateNode-Http-AddressNumber-of-Running-Containers node3:46007 RUNNING node3:8042 0 node2:54895 RUNNING node2:8042 0 node1:51087 RUNNING node1:8042 resourcemanager nodemangager 验证 Yarn # bin/hadoop fs -ls /input Found 3 items -rw-r--r-- 2 root supergroup 84854 2018-01-29 21:37 /input/LICENSE.txt -rw-r--r-- 2 root supergroup 14978 2018-01-29 21:37 /input/NOTICE.txt -rw-r--r-- 2 root supergroup 1366 2018-01-29 21:37 /input/README.txt 使用yarn 统计 样本文件中单词出现频率 # ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount hdfs://master:9000/input hdfs://master:9000/output 查看结果 # ./bin/hadoop fs -cat hdfs://master:9000/output/* Yarn 节点管理 [root@master ~] # cat /etc/hosts 192.168.4.1master 192.168.4.2node1 192.168.4.3node2 192.168.4.4node3 192.168.4.5newnode [root@newnode ~]# rsync -azSH --delete master:/usr/local/hadoop /usr/local [root@master hadoop]# ./sbin/start-yarn.sh 添加节点 [root@master hadoop]# ./bin/yarn node -list 18/01/28 21:06:57 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:3 Node-Id Node-State Node-Http-Address Number-of-Running-Containers node1:33596 RUNNING node1:8042 0 node2:53475 RUNNING node2:8042 0 node3:34736 RUNNING node3:8042 0 [root@newnode hadoop]# sbin/yarn-daemon.sh start nodemanager [root@master hadoop]# ./bin/yarn node -list 18/01/28 21:07:53 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:4 Node-Id Node-State Node-Http-Address Number-of-Running-Containers newnode:39690 RUNNING newnode:8042 0 node1:33596 RUNNING node1:8042 0 node2:53475 RUNNING node2:8042 0 node3:34736 RUNNING node3:8042 0 删除节点 [root@newnode hadoop]# sbin/yarn-daemon.sh stop nodemanager //不会立即删除 [root@master hadoop]# ./bin/yarn node -list 18/01/28 21:11:31 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:4 Node-Id Node-State Node-Http-Address Number-of-Running-Containers newnode:39690 RUNNING newnode:8042 0 node1:33596 RUNNING node1:8042 0 node2:53475 RUNNING node2:8042 0 node3:34736 RUNNING node3:8042 0 //需要重新启动服务 [root@master hadoop]# ./sbin/stop-yarn.sh [root@master hadoop]# ./sbin/start-yarn.sh [root@master hadoop]# ./bin/yarn node -list 18/01/28 21:12:46 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.4.1:8032 Total Nodes:3 Node-Id Node-State Node-Http-Address Number-of-Running-Containers node1:42010 RUNNING node1:8042 0 node2:55043 RUNNING node2:8042 0 node3:38256 RUNNING node3:8042 0 本文转自 Xuenqlve 51CTO博客，原文链接：http://blog.51cto.com/13558754/2067497，如需转载请自行联系原作者
2017-11-23
优秀的个人博客,低调大师

spark 入门及集群环境搭建

软件环境: VMware workstation 11.0 linux ：CentOS 6.7 hadoop-2.7.3 jdk-1.0.7_67 spark-2.1.0-bin-hadoop2.7/ 安装虚拟机和jdk就不再此赘述。 直接讲解安装hadoop和spark的安装。 一。下载hadoop源码包。点击此处下载:http://hadoop.apache.org/ 1.下载后解压到指定的目录下。 tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop 2.解压后进入目录 cd /usr/hadoop/hadoop-2.7.3 3.修改配置文件: 进入到cd /hadoop-2.7.3/etc/hadoop下需要修改几个配置文件 1> cpetc/hadoop/hadoop-env.sh.template.hadoop-env.sh cpetc/hadoop/hdfs-site.xml.templete hdfs-site.xml cpetc/hadoop/core-site.templete core-site.xml cp etc/hadoop/mapred-env.sh.templete mapred-env.sh cp etc/hadoop/mapred-site.templete mapred-site.sh cp etc/hadoop/slaves.templete slaves cp etc/yarn-env.sh.templete yarn-env.sh cp etc/yarn-site.xml.templete yarn-site.xml 注意: 一般修改系统配置文件时最好做一个备份或者复制后修改，就像这样的。 hadoop-env.sh 配置文件的内容 #Thejavaimplementationtouse. exportJAVA_HOME=/opt/modules/jdk1.7.0_67/ 这是需要修改为自己机器安装的jdk的位置。其他文件内容不需要修改。 hdfs-site.xml <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.block.size</name> <value>134217728</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoopdata/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoopdata/dfs/data</value> </property> <property> <name>fs.checkpoint.dir</name> <value>/home/hadoopdata/checkpoint/dfs/cname</value> </property> <property> <name>fs.checkpoint.edits.dir</name> <value>/home/hadoopdata/checkpoint/dfs/cname</value> </property> <property> <name>dfs.http.address</name> <value>master:50070</value> </property> <property> <name>dfs.secondary.http.address</name> <value>slave1:50090</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>true</value> </property> </configuration> 3> core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/modules/hadoop-2.7.3/data/tmp</value> </property> </configuration> 4> mapred-env.sh exportJAVA_HOME=/usr/local/java/jdk1.7.0_67/ 修改为自己电脑的jdk路径。 5> mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <final>true</final> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> <property> <name>mapreduce.job.ubertask.enable</name> <value>true</value> </property> <property> <!-- 配置map任务的主节点 运行在哪台节点--> <name>mapred.job.tracker</name> <value>master:9001</value> </property> 6> slaves 设置需要几个节点运行 master slave1 slave2 7> yarn-env.sh JAVA=$JAVA_HOME/bin/java 引用jdk的路径 8> yarn-site.xml <property> <name>yarn.resourcemanager.hostname</name> <value>salve2 </value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>slave2:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>slave2:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>slave2:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>slave2:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>slave2:8088</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/opt/modules/hadoop-2.7.3/tmp/logs</value> </property> 注意: 修改完配置后，需要将hadoop分发到其他节点。 slave1和slave2. scp -r /usr/hadoop/hadoop-2.7.3 root@slave1:/usr/hadoop scp -r /usr/hadoop/hadoop-2.7.3 root@slave2:/usr/hadoop 然后需要修改环境变量文件。可以修改当前用户的 环境变量文件，就是~./bash_rc 或全局变量文件 /etc/profile export JAVA_HOME=/usr/local/jdk-1.7.0_67 export PATH=:PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin: 保存 :wq; 然后可以把环境变量文件发送给其他节点。 二. 格式化namenode节点 hadoop namenode -format 会看到一堆输出信息。然后会提示namenode 格式化成功的提示。 三。启动集群. 可以全部启动，也可以单独 启动。 hadoop 安装路径下有个sbin 目录，下是存放的是系统的启动脚本。 全部启动: start-all.sh 单独启动节点: hadoop-daemon.sh start namenode/datanode xxx. 启动后用jps查看进程。 本文转自 ChinaUnicom110 51CTO博客，原文链接:http://blog.51cto.com/xingyue2011/1947302
2017-11-22
优秀的个人博客,低调大师

搭建cadvisor + influxdb + grafana 监控系统

启动influxdb 1 2 dockerrun-d--net=host-ePRE_CREATE_DB=cadvisor--nameinfluxsrvtutum/ influxdb:0.8.8 启动cadvisor 1 2 3 4 5 6 7 8 9 10 dockerrun\ --volume=/: /rootfs :ro\ --volume= /var/run : /var/run :rw\ --volume= /sys : /sys :ro\ --volume= /var/lib/docker/ : /var/lib/docker :ro\ --publish=8080:8080\ --detach= true \ --name=cadvisor\ -eRUN_OPTS= "-storage_driver=influxdb-storage_driver_host=hostip:8086" \ logbase /cadvisor-influxdb 异常： 一开始 在 influxdb 执行 list series 无数据， 知道cadvisor没有往db 传 /usr/bin/cadvisor --logtostderr --v=2 查看详细日志，一般是网络问题，官方镜像一直有问题，无法读取网络状态，所以更换镜像 启动grafana 1 2 3 4 5 6 7 8 9 10 dockerrun-d--net=host\ -eHTTP_USER=admin\ -eHTTP_PASS=admin\ -eINFLUXDB_HOST=localhost\ -eINFLUXDB_PORT=8086\ -eINFLUXDB_NAME=cadvisor\ -eINFLUXDB_USER=root\ -eINFLUXDB_PASS=root\ --namegrafanagrafana/ grafana:2.0.2 本文转自银狐博客51CTO博客，原文链接http://blog.51cto.com/foxhound/1774410如需转载请自行联系原作者 战狐
2017-11-22
优秀的个人博客,低调大师

linux下的LNMP环境搭建

首先了解一下LNMP这四个字母的意思：可以把四个字母分开来看：L：linux的操作系统；N：Nginx网站服务；M：mysql数据库；P：php解析环境。 本次主要能学会Nginx网站服务的基本构建； 学会构建Nginx主机；（这个和apache的网站服务的虚拟web主机类似，本次不做过多讲解） 学会部署LNMP网站服务平台 今天我准备了天空网络电影系统。所以简单的把这个点播系统部署上(http://www.skyuc.com/） 一：Nginx服务基础 Nginx的优点：（1）稳定性；（2）系统资源消耗低；（3）并发连接的高处理能力 1.安装及运行控制 编译安装Nginx Nginx的配置及运行需要pcre，zlib等软件包的支持，一遍提供相应的库和头文件，能确保Nginx的安装顺利完成。所以需要安装yum仓库，方便安装依赖包。 创建运行用户和组 默认以nodody身份运行。建议为其建立专门的用户，能准确的控制起访问权限，增加灵活性，降低安全风险。这是Nginx网站服务的单独运行用户，不需要登录系统。 useradd -M -s /sbin/nologin nginx 编译安装Nginx --perfix//指定Nginx的安装路径 --user //用于指定运行的用户 --group//用户指定运行的组 --with-http_stub_module//启动模块以支持状态统计 为了是Nginx服务器的运行方便，可以为主程序nginx创建链接文件，以便管理员直接执行“nginx”命令就可以调用Nginx的主程序。 ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ 2.Nginx的运行控制 检查配置文件 与apache的主程序httpd类似，Nginx的主程序也提供了“-t”选项来对配置文件进行检查，以便找出不当或错误的配置。配置文件Nginx.conf默认位于安装目录下的conf/子目录下。若要检查其他位置的配置文件，可使用“-c”选项来指定路径 启动.停止Nginx 直接运行Nginx即可启动Nginx服务器，这种方式是使用默认的配置文件，若要该用其他配置文件，需添加“-c配置文件路径”选项来指定路径。 通过检查Nginx程序的监听状态，或者在浏览器中访问此web服务，可以确认Nginx服务是否正常运行 netstat -anpt | grep nginx 主程Nginx支持标准的进程信号，通过kill或killall命令发送HUP信号表示重新加载配置，OUT信号表示退出进程，KILL信号表示杀死进程。 Nginx进程运行时，PID号默认存放在log/目录下的Nginx.pid文件中 3.配置文件nginx.conf Nginx服务器的主配置文件/usr/local/nginx/conf/nginx.conf中，配置的语句格式为“关键字 值；” 全局配置 由各种配置语句组成，不使用特定的界定标记，全局配置部分包括Nginx服务的运行用户；工作进程数，错误日志，PID存放位置 #user nobody；//运行用户 woker_processes 1;//工作进程数量 #error_log logs/error.log;//错误日志文件的位置 #pid logs/nginx.pid; //PID文件位置 1/0事件配置 使用“events｛｝”界定标记，用来指定Nginx进程的1/0响应模型，每个进程的连接数等设置。 若工作进程数为8，每个进程处理4096个连接，则允许Nginx正常提供服务的连接数已超过3万多个，具体还是要看服务器的硬件，网络带宽等因素 HTTP配置 使用“http｛｝”界定标记，包括访问日志，HTTP端口，网页目录，默认字符集，连接保持以及后续讲解的虚拟web主机，php解析等 二：LNMP架构及应用部署 众所周知，LAMP平台是目前应用最为广泛的网站服务器架构，其中的“A”对应这web服务软件Apache HTTP Server。随着Nginx在企业中的使用呈上升趋势，相信不久的将来LNMP架构会成为这个行业的主流，因此也受更多的Linux工程师所青昧。 1.构建LNMP平台 安装Mysql数据库 为了与Nginx，php环境保持一致，仍选择采用源代码编译的方式安装Mysql组件 yum -y install ncurses-devel（需要安装yum仓库，这是一个很多依赖包的软件，以便支持mysql数据库） tar zxvf cmake-2.8.6.tar.gz cd cmake-2.8.6 ./configure && gmake && gmake install(编译安装Mysql时需要用这个软件来编译，所以需要把这个软件装上) tar zxvf mysql-5.5.22.tar.gz cd mysql-5.5.22 cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DDEFAULT_CHARSET=utf8 --DDEFAULT_COLLATION=utf8_general_ci -DWITH_EXTRA_CHARSETS=all -DSYSCONFDIR=/etc && make && make install 安装完毕后还没有完事，还需要优化数据库，初始化数据库，启动mysql服务 2.安装php解析环境 较新版本的php已经自带FPM（进程管理器）模块，用来对php解析实例进行管理，优化解析效率。需要添加“--enable-fpm”以启用此模块 编译安装php yum -y install gd libxm12-devel libjped-devel libpng-devel tar zxvf php-5.3.28.tar.gz cd php-5.3.28 ./configure --prefix=/usr/local/php5 --with-gd --with-zlib --with-mysql=/usr/local/mysql --with-config-file-path=/usr/local/php5 --with-mbstring --enable-fpm --with-fpm --with-jpeg-dir=/usr/lib && make && make install 配置Nginx支持PHP环境 让Nginx能解析PHP网页，两种方法可以选择。其一：充当中介，将访问PHP页面的web请求转交给其他服务器去处理，其二：通过使用PHP的FPM模块来调用本机的PHP环境 启用php-fpm进程 参考php-fpm.conf配置文件，并修改其中的PID文件，运行用户，服务数等相关设置。然后启动php-fpm程序即可（默认监听本机的9000端口号） php-fpm.conf文件中，pid配置行指出了PID信息的存放位置，对应的实际路径/usr/local/php5/var/php-rpm.pid. 配置Nginx至此PHP解析 无论是将PHP页面交给LAMP服务器去解析，还是调用本机的php=fpm进程进行解析，都需要在“server｛｝”配置段中添加location设置，以便指定当访问.php网页是采取何种操作。 对于第一种方法（转交给其他web服务器处理），使用的配置语句如下 server { ...... location ~ \.php${ proxy_passhttp://ip:80; } } 对于第二种方法（调用本机的php-fpm进程），使用的配置如下： server { ...... location ~ \.php$ { root/var/www/tanhong; fastcgi_pass127.0.0.1:9000; fastcgi_index index.php includefastcgi.conf; } } 三。在LNMP平台中部署web应用 1.下载并部署程序代码 天空网络电影系统是一套PHP视频点播系统，支持各种p2p流媒体软件，适合电影门户站，多媒体中心，网吧，酒店，教育等行业使用，官方网站为（http：//www.skync.com） 将下载的程序文件解压，找到其中的wwwroot文件夹并将其放置到LNMP服务器的网站默认根目录（一般不会根据实际情况，可能网站的目录会放置在一个隐秘的位置） yum -y install unzip unzip SKYNC.v3.4.2.SOURCE.zip cd SKYNC.v3.4.2.SOUTCE mv wwwroot /usr/local/nginx/html/skync cd /usr/local/nginx/html/skync chown -R php:php admincp/ data/ templates/ upload 2.创建数据库 为了降低web应用程序对数据库的风险，建议设置专用的数据库及授权用户，而不是直接使用数据库的默认root用户 mysql -u root -p //验证root用户的密码 mysql> CREATE DATABASE skyncdb;//创建数据库 mysql>GRANT all ON skyncdb.* TO RUNSKYNC@localhost IDENTIFIED BY 'sky@uc123' 本文转自 宏强 51CTO博客，原文链接:http://blog.51cto.com/tanhong/1881223
2017-11-21
优秀的个人博客,低调大师

CentOS7搭建lamp环境

Mysql安装 CentOS 7 版本将MySQL数据库软件从默认的程序列表中移除，用mariadb代替了。MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。 [root@localhost ~]# yum install mariadb-server mariadb [root@localhost ~]# yum install mysql-devel [root@localhost ~]# systemctl restart mariadb#重启Mysql [root@localhost ~]# mysql#进入Mysql Welcome to the MariaDB monitor. Commands end with ; or \g. Your MariaDB connection id is 4 Server version: 5.5.56-MariaDB MariaDB Server Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. MariaDB [(none)]>set password for 'root'@'localhost' =password('password'); #设置密码 Query OK, 0 rows affected (0.00 sec) MariaDB [(none)]> quit#退出 Bye [root@localhost ~]# maraidb -u root -p123456#再次进入Mysql 123456为我设置的密码 [root@localhost ~]# mysql --version#查看版本信息 mariadb数据库的相关命令是： systemctl start mariadb #启动MariaDB systemctl stop mariadb #停止MariaDB systemctl restart mariadb #重启MariaDB systemctl enable mariadb #设置开机启动 安装Apache [root@localhost ~]# yum install httpd [root@localhost ~]# httpd -v#查看版本信息 安装php 一、删除旧版本 如果已经安装过php就先删除之前的版本。检查方法如下： yum list installed | grep php 然后将安装的包进行删除 比如 yum remove php.x86_64 php-cli.x86_64 php-common.x86_64 php-gd.x86_64 php-ldap.x86_64也可直接 yum remove php* 具体根据显示的安装列表的名称进行相应的删除 二、安装新版版 1. 更新yum安装包 CentOS 7.x rpm -Uvh https://mirror.webtatic.com/yum/el7/epel-release.rpm rpm -Uvh https://mirror.webtatic.com/yum/el7/webtatic-release.rpm CentOS 6.x rpm -Uvh http://mirror.webtatic.com/yum/el6/latest.rpm CentOS 5.x rpm -Uvh http://mirror.webtatic.com/yum/el5/latest.rpm 2. 通过云进行php和其他组件的安装 yum install php70w.x86_64 php70w-cli.x86_64 php70w-common.x86_64 php70w-gd.x86_64 php70w-ldap.x86_64 php70w-mbstring.x86_64 php70w-mcrypt.x86_64 php70w-mysql.x86_64 php70w-pdo.x86_64 yum install php70w-fpm 其他需要的组件在自行安装。 三、其他版本php安装 如果想安装php5.5或者5.6版本，将上面的php70w替换为php55w或者php56w就可以了。 查看版本信息 [root@localhost ~]# php -v PHP 7.0.24 (cli) (built: Sep 30 2017 10:10:28) ( NTS ) Copyright (c) 1997-2017 The PHP Group Zend Engine v3.0.0, Copyright (c) 1998-2017 Zend Technologies 四，添加配置信息 [root@localhost ~]# cd /var/www/html/ [root@localhost html]#vim index.php <?php phpinfo(); ?> 五，重启httpd [root@localhost ~]# systemctl restart httpd
2017-11-18
优秀的个人博客,低调大师

Android环境搭建及相关命令

1.下载SDK 到Android官方的镜像网站 http://androidappdocs.appspot.com/sdk/index.html 下载，网页有介绍quick start，解压后，打开SDK Setup.exe选择下载相应的SDK版本。 同时建议添加环境变量ANDROID_SDK_HOME E:\ ,否则到了后面创建 SD卡镜像文件的时候，Android是默认把那几百MB的镜像文件放在C:\Documents and Settings\<user>\.Android里面的。而设置ANDROID_SDK_HOME为E:\，重启系统生效后，SD卡img文件就放在E:\.Android里面。而且Android的相关配置也是放在E:\.Android里面的，不用担心系统重装/恢复c盘所带来的影响！ 2. 安装ADT插件 到http://androidappdocs.appspot.com/sdk/eclipse-adt.html下载，按照网页的介绍安装。安装后启动Eclipse，打开Eclipse的菜单window -> Preferences，找到Android, 设置SDK Location为SDK Setup.exe所在的文件夹。 3. 创建SD卡镜像 创建SD卡镜像文件，推荐使用SDK Setup.exe来创建，对于新手来说，使用adb.exe的命令是比较麻烦的！可以使用android list avd来查看已成功建立的模拟器！ 4. 启动模拟器 在SDK Setup.exe，start刚才创建的SD卡镜像，模拟器就会启动！对此，可以把下面的批处理保存为start_emulator.bat ，放在SDK Setup.exe所在文件夹，方便启动模拟器： cd tools emulator -avd AndroidVD -no-boot-anim 其中AndroidVD是该SD卡镜像文件的名字！-no-boot-anim表示启动没有动画显示状态，降低启动时的CPU占用！ 5. 在非Eclipse的IDE的项目创建 可以使用以下批处理创建项目，保存为Create_Project_MyAndroidApp.bat，放在SDK Setup.exe所在文件夹，方便创建，每次创建新的项目，需要修改里面的相关内容，所以推荐使用Eclipse来创建项目！ cd tools android create project --target 1 --name MyAndroidApp --path G:\StudyAndroid\MyAndroidAppProject --activity MyAndroidAppActivity --package com.can.myandroid --target 1 这里的1，需要运行android list targets查看 --name 项目名 --path 项目文件夹路径 --activity main Activity的名字 --package 包名 更多的介绍在官方网站Developing In Other IDEs http://androidappdocs.appspot.com/guide/developing/other-ide.html 6. 其他adb命令 安装软件 adb -s emulator-5554 install -r MyAndroidApp-debug.apk路径 卸载软件 adb uninstall com.can.myandroid(这是package名) adb uninstall -k <package名>卸载软件但是保留配置和缓存文件 还有其他的adb命令，请运行adb /?查看帮助。 7. Android模拟器和真机的不同之处 * 不支持呼叫和接听实际来电；但可以通过控制台模拟电话呼叫(呼入和呼出) * 不支持USB连接 * 不支持相机/视频捕捉 * 不支持音频输入(捕捉)；但支持输出(重放) * 不支持扩展耳机 * 不能确定连接状态 * 不能确定电池电量水平和交流充电状态 * 不能确定SD卡的插入/弹出 * 不支持蓝牙 8.在Eclipse中查看Android SDK源代码的方法 首先就是要下载Android SDK的源代码，方法不具体描述，大概就是使用Git来下载。 然后把源代码放到在相应的平台文件夹里面的source目录，例如放到D:\android-sdk-windows\platforms\android-7里面的source目录（目录没有就新建）。 这样在Eclipse，当鼠标放在某个函数时，会显示该函数的声明和形参。在debug时可以跳转到这些源代码里面，而不会提示这些源代码文件not found。 本文转自 Icansoft 51CTO博客，原文链接： http://blog.51cto.com/android/298314
2017-11-15
优秀的个人博客,低调大师

LAMP应用架构优势与搭建

Office Anywhere采用基于WEB的企业计算平台，如下图： LAMP架构的优势 名词解释（引自百度百科）： LAMP：基于Linux，Apache，MySQL和PHP的开放资源网络开发平台。Linux是开放操作系统;Apache是最通用的网站服务器;MySQL是带有基于网络管理附加工具的关系型数据库;PHP是流行的对象脚本语言，它包含了多数其它语言的优秀特征来使得它的网络开发更加有效。 许多网站采用Apache 网站服务器+MySQL数据库+PHP语言引擎开发。可运行于Windows，Linux，Unix，苹果Mac OS等多种操作系统。 下面分别介绍Apache、PHP、MySQL的优势。 Apache网站服务器 Apache 是一个开源软件项目，自1996年起，一些顶尖的软件工程师，在美国伊利诺斯大学超级计算机应用程序国家中心（National Center for Supercomputing Applications，简称为NCSA）开发的 NCSA HTTPd 服务器的基础上开发与维护Apache服务器，1999年Apache软件基金会成立。 Apache的特点是简单、速度快、性能稳定。 Apache是世界使用排名第一的Web服务器软件，它可以运行在几乎所有广泛使用的计算机平台上。 据Netcraft统计：截止2008年6月，全世界互联网站总量达1.72亿，使用Apache服务器的位居第一，达49.12％，而使用微软IIS的为35.39％。 国内使用Apache服务器的知名网站和应用有： 搜狐(Apache 1.3)、新浪(Apache 2.0.54)、网易(Apache 2.2.6)、腾讯QQ网站、新华网、中华网、人民网、chinaren、淘宝网 以上网站服务信息，可以到http://uptime.netcraft.com查询，国外采用Apache的网站更多，不再详述。 PHP语言引擎 PHP的优势包括：开源模式使得开发者无需付费，支持多种操作系统，强大的的可伸缩性，稳定高效运行，快速开发，面向对象的编程，支持和JAVA的交互等特性。 PHP在数据库方面的支持非常丰富，包括：filePro,Informix,InterBase,mSQL,Microsoft SQL Server,MySQL,Sybase,ODBC,Oracle,PostgreSQL等等。 作为全球最普及的互联网开发语言之一，占到了全世界互联网应用的40%， PHP从1994年诞生至今已被2000多万个网站采用，国外流行程度更高。全球知名互联网公司Yahoo！、Goolge、Lycos、YouTube和中国知名网站新浪、百度、腾讯、TOM 等均是PHP 技术的经典应用。其中新浪网90%以上的Web开发采用PHP语言（资料数据转自CSDN程序员杂志2008年6月刊，新浪网架构师所著原文）。 并且，随着PHP 技术的成熟和完善，PHP 已经从一种针对网络开发的计算机语言发展成为了一个适合于企业级部署的技术平台，IBM、 Cisco、西门子、Adobe等公司均在普遍选用 PHP 技术。 在国际权威机构的调查报告中显示，PHP 技术在全球互联网社区领域的应用位居第一。在Alexa中文网站500强中，394家网站全部或部分应用着PHP 技术。在中国，目前也有着数十万的PHP 爱好者和程序员，他们身在不同地区，但都是PHP、开源的追随者。 PHP语言的发展十分迅猛，Web2.0时代的到来，更加速了PHP的普及，以下是几个生动的案例： 微软2007年花2.4亿美金收购1.6%股份的世界第二大社区网站facebook就采用了PHP语言开发，利用PHP的高度可伸缩特性，facebook支持用户开发扩展应用模块，这种全新的技术特性造就了facebook的极大成功，目前市值已超过100亿美元，它的未来就是一个网络版的操作系统。可以看到尽管微软发明了ASP.net语言，但仍非常看好PHP技术。 著名网站百度、雅虎都使用PHP开发重量级应用，比如百度的企业竞价排名系统就采用PHP开发，这是百度目前最大的收入来源，百度企业竞价排名管理站点网址：www2.baidu.com。 大家所熟知的PHP开发的论坛软件Discuz!几乎占据了80%的国内论坛软件市场，我们看到的门户网站论坛或社区，大多采用了PHP开发。 在国内OA领域，至少有30%以上的OA品牌采用PHP开发，这也包括采用通达OA平台开发的30余家正规品牌和众多盗版产品，PHP开发的OA在国内几乎有统一天下之势。 PHP与JAVA、ASP、ASP.net等网络语言的数据对比 现在最流行的统计方式，就是Google了，看看Google的搜索结果，基本就能判断出其在市面上的网站的使用情况， 约有11,050,000,000项符合php的查询结果 约有 3,540,000,000项符合asp的查询结果 约有 1,900,000,000项符合aspx的查询结果 约有 771,000,000项符合jsp的查询结果 全球PHP网站页面达到110亿，超过了ASP、ASP.net和JSP的总和。 这段时间葛优频繁曝光，总是喋喋不休的告诉俺们一个道理——用的人多的卡就是好卡。而如果套用这个光头明星的话，那就是：我，相信群众，从上面查询的结果大家可以看到，人民群众是很爱戴PHP的。 MySQL数据库 MySQL是一个关系型数据库管理系统，目前MySQL被业界广泛地应用，在过去两年里，MySQL在所有开发者使用的数据库中获得了25%的市场份额。 MySQL开发者为瑞典MySQL AB公司。在2008年1月16日，被Java语言的创始和主导公司—美国Sun公司10亿美元收购。 Mysql已经在中国设立了研发与技术支持中心（万里开源携手MySQL共建MySQL中国研发中心），通达科技通过与之交流，加强了合作的认识，也获得了技术指导，将更好地提高Mysql的企业应用水平。MySQL中国充分肯定了通达在企业推广Mysql数据库应用的贡献，欢迎通达向用户推荐使用Mysql数据库。双方也将在后续的市场推广中，展开更深层次的合作，包括向集团企业用户提供高可靠的基于Mysql的数据库解决方案和优质服务，更多信息参考通达网站新闻。 大家所熟悉的新浪网、腾讯QQ、淘宝网，都大量采用了MySQL数据库。 腾讯QQ采用Linux操作系统+MySQL数据库平台，至2004年2月，其注册用户数已经达到2.8亿户，活跃人数9200万，凭借上千台服务器组成的集群应用，至2005年2月，腾讯QQ的同时在线人数突破了1000万，这也充分证明了MySQL数据库的的大容量、快速响应的特点。 MySQL CEO Mickos说：MySQL尤其适用于Web应用，这也是该产品如今最为广泛的应用领域。其重要客户包括了Yahoo和Google，他们都在自己的站点中使用MySQL数据库。该产品同样还被用于嵌入式环境，在诸如零售业、制造业、政府机构和大学这样的环境用于完成办公任务。由于其可以实现各种用途，MySQL的客户遍布各个领域，从电信业（沃达丰、爱立信）到IT（惠普、德州仪器）再到新闻出版（美联社、时代杂志）。 MySQL客户还包括：朗讯、北电、美洲银行、西门子、思科、摩托罗拉、UPS、美国国防部、美国洛克希德-马丁公司、德国邮政、道琼斯、迪斯尼、戴姆勒-克莱斯勒等。 对于超高负载系统，通达可以提供Linux集群+MySQL数据库集群版的高性能配置方案，这种方案与Google或Baidu的集群系统方案类似，扩展空间很大，如果增加大量用户，只需再增加节点服务器就可以了。 快速部署LAMP 使用yum安装方式部署lamp(由于本人能力有限，所以有不尽人意的地方还请多多包涵) 一、yum配置 //进行yum源路径的配置 //baseurl为yum源的路径，Server为一会挂载的光盘中的目录，我们用到的包都在这个目录下；enable=1开启yum功能；gpgcheck=0不验证yum安装的包，其下面的一行为验证方式。 二、挂载系统光盘 //将光盘挂载到目录mnt下 三、安装apache、php和mysql包 //安装时间稍微长点 修改主机名 #hostname oracle.com #vim /etc/sysconfig/network 修改http.conf中servername 查看apache是否可以使用 # php –i用来查看php服务的，只是输出的信息太多无法截图了 查看mysql服务的安装 开启apache和mysql的服务和设置开机启动 四、编写两个简易的网页做测试 ① 静态网页测试 ② 动态网页测试（php） 五、安装discuz论坛 解压discuz包到/var/www/html目录下 在/var/www/html中会看到名为upload的包，这就是discuz解压后的目录 在浏览器地址栏里输入192.168.8.254/upload/install进行discuz的安装 //点击“我同意”进行下一步 //进行目录、文件权限检查时显示当前状态不可写 我们进入/var/www/html/upload下对那些不可写的目录和文件进行权限的修改 把那些不可写的目录和文件复制到一个文件中去，我这里就把它们复制到名chmod的文件 //由于本人vi下的编辑能力有限，所以用了上面的笨方法 再次刷新页面 //可以看到刚才的那些文件和目录变成可写了，点击下一步 //修改“数据库用户名”为root，密码为空；管理员账号admin，密码随意，点击下一步 //让我们填一些联系方式，先不管了直接跳过 //看到我们的论坛了，让我们亲自体验一下吧 //点击“登录”，输入管理员账号和密码，接下来你就可以发挥自己的想象来设计自己的网站了。 我们使用脚本来快速部署LAMP vim lamp.sh #!/bin/sh yum –y install http* php* mysql* echo “192.168.8.254”&gt;/var/www/html/index.html echo “<?php;phpinfo();?>”&gt;/var/www/html/index.php /etc/init.d/httpd start /etc/init.d/mysqld start chkconfig httpd on chkconfig mysqld on unzip Discuz_7.2_FULL_SC_UTF8.zip –d /var/www/html/ cd /var/www/html/upload/ chmod 777 ./config.inc.php chmod 777 ./attachments chmod 777 ./forumdata chmod 777 ./forumdata/cache chmod 777 ./forumdata/templates chmod 777 ./forumdata/threadcaches chmod 777 ./forumdata/logs chmod 777 ./uc_client/data/cache clear echo "Please access http://192.168.8.254/upload/install/ to begin your installation." //192.168.8.254为我服务器的地址，此脚本我放在/opt目录下执行，并且Discuz_7.2_FULL_SC_UTF8.zip包也在此目录下，一定要在同一个目录下执行。 此文下载地址：http://down.51cto.com/data/159575 由于页面内容过多，我写的一个源代码定制安装文档已上传到http://down.51cto.com/data/160441，花了我四天的时间详细的在机器上亲自实施了两次。此文档为生产当中用的最为频繁的方法，如果需要源码包就给我留言我单播给你 本文转自 baiying 51CTO博客，原文链接：http://blog.51cto.com/baiying/476474，如需转载请自行联系原作者
2017-11-15
优秀的个人博客,低调大师

Windows 搭建Hadoop 2.7.3开发环境

1、安装配置Java环境 1.1、安装Windows版本的jkd应用程序 当前的系统环境是64位Windows 7，因此下载64位JDK，下载地址：http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-windows-x64.exe 下载后直接点击安装，默认的安装位置为：C:\Java\jdk 1.2、配置Java环境变量 鼠标右键 "我的电脑"-->"属性" 点击左边 "高级系统设置"-->"环境变量" 增加JAVA_HOME变量，在系统变量点击 "新建" 变量：JAVA_HOME 变量值：C:\Java\jdk 在path上增加java安装路径，找到path点击"编辑" 在最后增加:;%JAVA_HOME%\bin;%JAVA_HOME%\lib;%JAVA_HOME%\jre\bin 增加CLASSPATH 变量：CLASSPATH 变量值：%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar java的环境变量设置完成后，在命令提示符输入命令检查：java -version 如果输出java信息说明环境设置完成； 2、安装配置Hadoop 2.1、下载安装Hadoop 下载Hadoop 2.7.3，下载地址：找到2.7.3版本，下载hadoop-2.7.3.tar.gz 将下载的hadoop-2.7.3.tar.gz解压移动到：C:\Usr\local\ 2.2、配置Hadoop 2.2.1、配置Hadoop环境变量 配置Hadoop环境变量：HADOOP_HOME，方法参照java 新建HADOOP_CONF_DIR变量：变量值：%HADOOP_HOME%\etc\hadoop 新建YARN_CONF_DIR变量：变量值：%HADOOP_CONF_DIR% 配置Hadoop path变量：%HADOOP_HOME%/bin 2.2.2、配置Hadoop配置文件 Hadoop配置文件存放在：C:\Usr\local\hadoop-2.7.3\etc\hadoop,在C:\Usr\local\hadoop-2.7.3目录下创建文件夹hdfs/{datanode,namenode} 2.2.2.1、 配置core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 2.2.2.2、 配置hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/C:/Usr\local/hadoop-2.7.3/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/C:/Usr/local/hadoop-2.7.3/hdfs/datanode</value> </property> </configuration> 2.2.2.3、 配置mapred-site.xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 2.2.2.4、 配置yarn-site.xml <configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property </configuration> 2.2.2.5、 配置slaves localhost 2.2.2.6、 配置hadoop-env.cmd 将JAVA_HOME修改为：set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_131并在后面追加如下设置： set HADOOP_IDENT_STRING=%USERNAME% set HADOOP_PREFIX=C:\Usr\local\hadoop-2.7.3 set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%\bin 注：C:\PROGRA~1用于替代C:\Program Files 2.3、替换Hadoop windows可执行程序 下载winutils相关，hadoop在windows上运行需要winutils支持和hadoop.dll等文件。下载地址下载对应版本的就可以，例如我用的是2.7.3，可以直接下载2.7.1的就好。然后把winutils.exe和hadoop.dll复制到hadoop的bin目录下; 2.4、启动Hadoop 1.格式化HDFS 打开cmd cd c:\usr\local\hadoop-2.7.3\bin hdfs namenode -format 2.启动Hadoop 打开cmd cd c:\usr\local\hadoop-2.7.3\sbin start-all.cmd YARN管理界面：http://localhost:8088 HDFS管理界面：http://localhost:50070 3.简单的HDFS操作 查看信息：hadoop fs -ls hdfs://localhost:9000/ 创建目录： · hadoop fs -lmkdir hdfs://localhost:9000/user/wc· 上传文件：hadoop fs -put C:\Usr\local\hadoop\LICENSE.txt hdfs://localhost:9000/user/wc 本文转自 巴利奇 51CTO博客，原文链接:http://blog.51cto.com/balich/2058194
2017-11-12
优秀的个人博客,低调大师

ES的搭建及简单操作

成功界面图： 使用ES注意事项： 1、es版本2.x以上需要JDK 1.8以上 2、运行es不能使用root用来来运行 3、es目录必须指定一个普通用户和组（授权） 4、es对内存和CPU的消耗比较高 5、es版本在5.X以上系统要求至少要能够开启2048个线程才可以启动，系统版本使用CENTOS7才可以 6、es使用的端口看开放iptables:9200，9300等 7、es配置其他插件实现资源等可视化监控 8、es的版本和插件之间版本要匹配 9、es集群配置，第一节点配置好scp到其他节点即可（修改配置文件） 一、es启动 1、下载es包.2.4.2版本、解压到/usr/local/并命名为elasticsearch 2、修改配置文件 cluster.name: my-application node.name: mycat path.data: /home/elastic/ path.logs: /home/elastic/logs network.host: 192.168.1.114 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.1.114"] 3、添加用户 useradd elastic 4、给/usr/local/elasticsearch授权 chown -R elastic.elastic /usr/local/elasticsearch 5、切换用户启动elastcisearch su elastic /usr/local/elasticsearch/bin/elasticsearch & 6、验证服务 登陆http://192.168.1.114:9200/ { "name" : "mycat", "cluster_name" : "my-application", "cluster_uuid" : "nwPLOaaEQrGrMXsQpL61sg", "version" : { "number" : "2.4.1", "build_hash" : "c67dc32e24162035d18d6fe1e952c4cbcbe79d16", "build_timestamp" : "2016-09-27T18:57:55Z", "build_snapshot" : false, "lucene_version" : "5.5.2" }, "tagline" : "You Know, for Search" } 启动OK~~! 8、安装kibana+sence可视化报表 1、修改kibana的配置文件/usr/local/kibana/config/kibana.yml server.port: 5601#kibana使用的服务端口 server.host: "192.168.1.114"#kibana实例主机 elasticsearch.url: "http://192.168.1.114:9200" ##指向elasticsearch实例，监控es服务的状态，关闭服务先关闭kibana服务先 2、启动kibana，这个可以在root模式下启动 /usr/local/kibana/bin/kibana & 3、加载sence插件 /usr/local/kibana/bin/kibana plugin --install elastic/sense 3、通过http://192.168.1.114:5601就可以可视化页面 8、安装管理和监控工具，使用marvel插件，这个插件是收费的，免费试用一个月。 Marvel基础功能是免费的 但是下载的是全功能版本 需要后续申请基础功能的license Marvel是Elasticsearch的管理和监控工具 ##在/usr/local/elasticsearch/目录下，安装marvel的许可和代理，用root来执行 Step 1: bin/plugin install license bin/plugin install marvel-agent #cd /usr/local/kibana/ #把marvel服务安装到kibana里 Step 2: Install Marvel into Kibanabin/kibana plugin --install elasticsearch/marvel/latest #重启es和kibana服务 Step 3: bin/elasticsearch bin/kibana Step 4: http://localhost:5601 Step 5:配置index pattern 修改index name or pattern里值为:.marvel-*（第一次的时候这么配置，后期使用后又索引了，写索引名字即可） 至此可以登录kibana页面，可以看到kibana\marvel\sence都集成在页面也里了。 默认安装的是带有安全模块的30天试用版 https://www.elastic.co/guide/en/marvel/current/license-management.html 如果只使用marvel的监控模块 需要更换license为Basic License register for a Basic license 安装license curl -XPUT -u admin 'http://<host>:<port>/_license?acknowledge=true' -d @license.json ### @后面是license文件, 安装后不需要重启ES和kibana 查看license是否更新成功 curl -XGET -u admin:password 'http://<host>:<port>/_license' 全文索引的设置： 1、下载包、解压 https://www.elastic.co/downloads/past-releases/logstash-2-4-1 2、添加配置文件目录 mkdir /usr/local/logstash/conf touch /usr/local/logstash/conf/logstash.conf input { jdbc { jdbc_driver_library => "/opt/logstash/mysql-connector-java-5.1.39/mysql-connector-java-5.1.39-bin.jar" #这个包要在logstash服务器上存在包 jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://host:3306/database" #数据库信息 jdbc_user => "" jdbc_password => "" # schedule => "0 1 * * *" statement => "select * from aaa" clean_run => true } } output { elasticsearch { hosts => ["host:9200"] index => "index" #自定义 document_type => "index" #自定义 document_id => "%{id}" ###设置ID为ES主键，当数据库有update操作时，原记录会被覆盖 } } #### input { jdbc { jdbc_driver_library => "/usr/local/mysql-connector-java-5.1.40-bin.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://192.168.1.114:3306/test" jdbc_user => "dlan" jdbc_password => "root123" schedule => "0 1 * * *" statement => "select * from aaa" jdbc_paging_enabled =>"true" clean_run => "true" } } output { elasticsearch { hosts => ["192.168.1.114:9200"] index => "index" document_type => "index" document_id => "%{id}" } } ### 3、启动logstash /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/logstash.conf & 4、然后再kibana里面sense Server的localhost改成es的ip地址 GET /index_mycat/index_mycat/_search#返回所有的数据 GET /index_mycat/index_mycat/_search { "query": { "term": { "id": { "value": "7" } } } }#查看某个值 GET /index_mycat/index_mycat/_search { "query": { "terms": { "id": [ "1", "2", "3" ] } } }#查询一个ID的多个值 ES写入和查询数据 POST /logstach20161203/testlog { "date":"111111111", "user":"chen", "mesg":"first message" } GET _cat/indices GET /logstach20161203/testlog/AVjCxeOOVWWuc1n8AVQu/_source#返回原始的数据，根据hash取回来的值 GET /logstach20161203/testlog/AVjCxeOOVWWuc1n8AVQu?fields=user,mesg #返回多个值 GET /logstach20161203/testlog/_search/ { "query": { "term": { "user": { "value": "chen" } } } } ES数据更新的方法： 一种为全量提交，即根据_id再发送一次写请求 POST /logstach20161203/testlog/AVjCxeOOVWWuc1n8AVQu { "date":"111111112", "user":"chen", "mesg":"first message1" } 另外一种是局部更新 POST /logstach20161203/testlog/AVjCxeOOVWWuc1n8AVQu/_update {"doc":{"user":"aaa1a"}} curl -XPOST 'http://192.168.1.114:9200/logstach20161203/testlog/AVjCxeOOVWWuc1n8AVQu/_update' -d '{"doc":{"user":"aaaa"}}' ES的查询 GET /logstach20161203/testlog/_search?q=aaa1a GET /logstach20161203/testlog/_search?q=user:"aaa1a" ?q=后写写就是querystring语法 1、全文检索：直接写搜索的单词，如上例中的?? first?； 2、单字段的全文检索：在搜索单词之前加上字段名和冒号，比如如果知道单词 first?肯定出现在?mesg?字段，可以写作?? mesg:first?； 3、单字段的精确检索：在搜索单词前后加双引号，比如?? user:"chenlin7"?； 4、多个检索条件的组合：可以使用?? NOT?,?? AND??和??OR??来组合检索，注意必须是大写。比如?? user:("chenlin7"?OR?"chenlin")?AND?NOT mesg:first?； 5、字段是否存在：? _exists_:user??表示要求?user?字段存在，? _missing_:user??表示要求?user?字段不存在； 6、通配符：用?? ???表示单字母，? *??表示任意个字母。比如??fir?t?mess*?； 7、正则：需要比通配符更复杂一点的表达式，可以使用正则。比如 ? mesg:/mes{2}ages?/?。注意?ES?中正则性能很差，而且支持的功能也不是 特别强大，尽量不要使用。ES?支持的正则语法 见：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl- regexp-query.html#regexp-syntax； 8、近似搜索：用?? ~??表示搜索单词可能有一两个字母写的不对，请?ES?按照相似 9、度返回结果。比如?? frist~?； 10、范围搜索：对数值和时间，ES?都可以使用范围搜索，比 如：? rtt:>300?，? date:["now-6h"?TO?"now"}??等。其中，?[]??表示端点 数值包含在范围内，? {}??表示端点数值不包含在范围内； 本文转自 DBAspace 51CTO博客，原文链接:http://blog.51cto.com/dbaspace/1879106
2017-11-12

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-03 大小: 211.28KB 下载: 53次
Oracle

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

时间: 2025-12-03 大小: 2.6GB 下载: 112次
Eclipse

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

时间: 2025-12-03 大小: 190MB 下载: 33次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
热门标签
SpringCloud 服务网格 Jdk25 ChatGPT Nacos HarmonyOS NEXT K8s DeepSeek Redis SpringBoot Docker

欢迎您！

登录后，您将获得更多功能！

热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273