搜索[centos]结果-低调大师优秀个人博客

精选列表

搜索[centos]，共5663篇文章

memcached--------基于centos6源码安装

1. 背景许多Web应用程序都将数据保存到RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大，访问的集中，就会出现REBMS的负担加重，数据库响应恶化，网站显示延迟等重大影响。Memcached是高性能的分布式内存缓存服务器。一般的使用目的是通过缓存数据库查询结果，减少数据库的访问次数，以提高动态Web应用的速度、提高扩展性。如图： Memcached作为高速运行的分布式缓存服务器具有以下特点。 1. 协议简单 memcached的服务器客户端通信并不使用复杂的MXL等格式，而是使用简单的基于文本的协议。 2. 基于libevent的事件处理 libevent是个程序库，他将Linux的epoll、BSD类操作系统的kqueue等时间处理功能封装成统一的接口。memcached使用这个libevent库，因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。 3. 内置内存存储方式为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中，因此重启memcached，重启操作系统会导致全部数据消失。另外，内容容量达到指定的值之后memcached回自动删除不适用的缓存。 4. Memcached不互通信的分布式 memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。他的分布式主要是通过客户端实现的。 5. Memcached的内存管理最近的memcached默认情况下采用了名为Slab Allocatoion的机制分配，管理内存。在改机制出现以前，内存的分配是通过对所有记录简单地进行malloc和free来进行的。但是这中方式会导致内存碎片，加重操作系统内存管理器的负担。 Slab Allocator的基本原理是按照预先规定的大小，将分配的内存分割成特定长度的块，已完全解决内存碎片问题。Slab Allocation的原理相当简单。将分配的内存分割成各种尺寸的块（chucnk），并把尺寸相同的块分成组（chucnk的集合）如图：而且slab allocator还有重复使用已分配内存的目的。也就是说，分配到的内存不会释放，而是重复利用。 Slab Allocation的主要术语 Page :分配给Slab的内存空间，默认是1MB。分配给Slab之后根据slab的大小切分成chunk. Chunk :用于缓存记录的内存空间。 Slab Class:特定大小的chunk的组。 2. 环境 3. 安装(下载源码包全部放至/usr/local/src目录下，先cd切换到/usr/local/src目录下工作) 安装libevent(memcache网络库部分基于libevent库开发，解决了不同平台的差异性) 下载：wgethttps://github.com/libevent/libevent/releases/download/release-2.1.8-stable/libevent-2.1.8-stable.tar.gz 解压: tar xf libevent-2.1.8-stable.tar.gz 进入目录: cd libevent-2.1.8-stable 安装: ./configure --prefix=/usr/local/libevent-2.1.8 && make && make install 做软链接 ln -s /usr/local/libevent-2.1.8 /usr/local/libevent 安装memcached 下载: wgethttp://www.memcached.org/files/memcached-1.4.35.tar.gz 解压: tar xf memcached-1.4.35.tar.gz 进入目录: cd memcached-1.4.35 编译安装：./configure --prefix=/usr/local/memcached-1.4.35--with-libevent=/usr/local/libevent && make && make install 做软链接: ln -s /usr/local/memcached-1.4.35 /usr/local/memcached 创建系统用户, 并且不创建家目录 useradd -r -s /sbin/nologin -M memcached 编辑并添加memcached启动脚本(当前路径还在memcached-1.4.35源码包目录里) 进入脚本目录: cd scripts 复制脚本至init.d目录下: cp memcached.sysv /etc/init.d/memcached 创建memcached运行目录, 并改变其用户与用户组为memcached mkdir /var/run/memcached chown memcached.memcached /var/run/memcached 编辑脚本: (/etc/init.d/memcached) daemon memcached -d -p $PORT -u $USER -m $CACHESIZE -c $MAXCONN -P /var/run/memcached/memcached.pid $OPTIONS 改为 daemon /usr/local/memcached/bin/memcached -d -p $PORT -u $USER -m $CACHESIZE -c $MAXCONN -P /var/run/memcached/memcached.pid $OPTIONS (可选)删除脚本中以下内容 PORT=11211 USER=nobody MAXCONN=1024 CACHESIZE=64 OPTIONS="" 创建参数脚本并添加参数创建touch /etc/sysconfig/memcached 更改用户与用户组 chown memcached.memcached /etc/sysconfig/memcached 添加内容 PORT=11211 USER=memcached MAXCONN=1024 CACHESIZE=64 OPTIONS="-l 0.0.0.0,::1" 将memcached添加进service管理,并开机启动 chkconfig --add memcached chkconfig memcached on 4. 测试启动: /etc/init.d/memcached start 或者 service memcached start 启动成功 5. 连接(通过telnet测试连接) telnet 127.0.0.1 11211 6. 总结以需求驱动技术，技术本身没有优略之分，只有业务之分。

2017-03-13

CentOS6.6 zookeeper完全集群搭建

centos6.6搭建zookeeper-3.4.6完全分布式环境转载 2015-06-28 22:14:17 标签：it 为了搭建HBase完全分布式环境，前提就是搭建好zookeeper和Hadoop

2017-03-05

CentOS升级Hyper-v集成服务

CentOS升级Hyper-v集成服务提升虚拟机性能最简单的一种方式就是使用最新版本的微软Hyper-V集成服务。集成服务是功能与驱动的集合，允许客户操作系统使用虚拟硬件。

2017-01-03

Centos7+Postfix+Dovecot实现邮件收发

Centos7+Postfix+Dovecot实现邮件收发说到邮件系统，现在有很多，比如微软的Exchange、Office365、IBM Lotus、主流的第三方提供的邮件系统。

2016-12-21

Centos7+Mariadb集群-主从配置介绍

Centos7+Mariadb集群-主从配置介绍近期一直在恶补Linux相关的知识，主要是就是学Linux下的基本日常应用服务器的配置及优化，今天我们主要介绍一下在Centos7下安装及配置Mysql

2016-12-04

CentOS7 安装cobbler自动部署ubuntu

CentOS7 安装cobbler自动部署ubuntu 一、简介二、安装CentOS 7 调整配置及安装相关软件 1、调整配置 2、安装 epel 包 3、安装cobbler、cobbler-web

2016-10-11

详解CentOS配置和管理web服务-Apache

详解CentOS配置和管理web服务-Apache 家住海边喜欢浪：zhang789.blog.51cto.com 目录 1、web介绍 2、web历史和工作原理 3、http请求流程 4、关于Apache

2016-10-06

Centos 6.4下 MySQL配置主从服务(集群)

Centos 6.4下 MySQL配置主从服务(集群) 我们前面两篇文章都分别介绍了Mysql的安装及配置、备份及还原，今天我们继续前面的环境介绍一下Centos 6.4下MySQL配置主从实现数据同步

2016-08-23

CentOS下LVS DR模式详细搭建过程

1、LVS环境组网由于是使用的VM环境，自己PC当作客户机（即公网地址），调度器与服务器都是VM中虚拟机，所以客户和所有服务器之间都是物理直接相连网络,逻辑拓扑图如下： 2、ipvsadm安装前准备外部IP地址内部IP地址角色 10.211.55.16/24 192.168.1.3/24 LVS调度器（虚拟机） 10.211.55.15/24 192.168.1.4/24 RS1（虚拟机） 10.211.55.14/24 192.168.1.5/24 RS2（虚拟机） 10.211.55.19/24 无客户机（自己电脑）注：实际应用中RS1 RS2没有外部地址，当前环境中，没有物理双网卡环境，都采用一个网卡配置多个IP地址。例： [root@LVS1~]#cp/etc/sysconfig/network-scripts/ifcfg-eth0/etc/sysconfig/network-scripts/ifcfg-eth0:0 [root@LVS1~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0:0#修改后保存退出 DEVICE=eth0:0 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.1.3 NETMASK=255.255.255.0 [root@LVS1~]#/etc/init.d/networkrestart 3、httpd与ipvsadm下载 1）在各服务器上关闭防火墙和修改主机名： [root@LVS1~]#serviceiptablesstop [root@LVS1~]#hostnameLVS1 [root@RS1~]#serviceiptablesstop [root@RS1~]#hostnameRS1 [root@RS2~]#serviceiptablesstop [root@RS2~]#hostnameRS2 2）在RS1 RS2上安装httpd服务 [root@RS2~]#yuminstallhttpd–y [root@RS2~]#/etc/init.d/httpdstart [root@RS2~#ps-ef|grephttpd [root@RS1~]#yuminstallhttpd–y [root@RS1~]#/etc/init.d/httpdstart [root@RS1~#ps-ef|grephttpd<==查看httpd服务是否起来 [root@RS1~]#cat/etc/httpd/conf/httpd.conf|grepDocumentRoot<==查找系统站点目录路径 #DocumentRoot:Thedirectoryoutofwhichyouwillserveyour DocumentRoot"/var/www/html" #ThisshouldbechangedtowhateveryousetDocumentRootto. #DocumentRoot/www/docs/dummy-host.example.com [root@RS1~]#echo"RS1">/var/www/html/index.html [root@RS2src]#echo"RS2">/var/www/html/index.html Httpd服务测试： 3）下载ipvsadm wgethttp://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz ln 我所使用的源包下载目录/usr/local/src 我的LVS环境： [root@LVS1~]#yum-yinstallkernel-develgccc++ [root@RS1src]#cat/etc/redhat-release CentOSrelease5.8(Final) [root@RS1src]#uname-rm 2.6.18-308.el5x86_64 ipvsadm-1.26对内核有要求，要求内核版本在2.6.28及以后的版本，如果符合了系统环境，还要安装依赖包yum install libnlpopt-y。我的内核版本不满足，使用ipvsadm-1.24。 [root@LVS1src]#tar-zxfipvsadm-1.24.tar.gz [root@LVS1src]#ln-s/usr/src/kernels/2.6.18-348.12.1.el5-x86_64/usr/src/linux<==编译有使用的路径为/usr/src/linux，可在Makefile中查看，如果不做链接，会编译失败 [root@LVS1src]#ll/usr/src/ total16 drwxr-xr-x2rootroot4096May112011debug drwxr-xr-x3rootroot4096Aug503:53kernels lrwxrwxrwx1rootroot43Aug503:56linux->/usr/src/kernels/2.6.18-348.12.1.el5-x86_64<==要使用ll/usr/src/查看，如果软链接一闪一闪的，代表链接失败 [root@LVS1src]#cdipvsadm-1.24 [root@LVS1ipvsadm-1.24]#make&&makeinstall<==如果编译失败，请按上面步骤一步一步排错。 [root@LVS1ipvsadm-1.24]#lsmod|grepip_vs<==查看内核模块是否有ipvsadm [root@LVS1ipvsadm-1.24]#ipvsadm IPVirtualServerversion1.2.1(size=4096) ProtLocalAddress:PortSchedulerFlags ->RemoteAddress:PortForwardWeightActiveConnInActConn 还有一种加载ipvsadm方法，用modprobe ip_vs [root@LVS1 ipvsadm-1.24]# lsmod |grep ip_vs <==查看内核模块，有代表ipvsadm加载进内核当中，此时LVS安装完毕ip_vs 122113 0 4、LVS负载均衡配置 1）配置VIP和DIP IP配置参考步骤2安装准备 [root@LVS1~]#ifconfigeth010.211.55.16netmask255.255.255.0#VIP [root@LVS1~]#ifconfigeth0:1192.168.1.3netmask255.255.255.0#DIP 2）添加真实服务器 [root@LVS1~]#ipvsadm–C<==手工清空原来表内容 [root@LVS1~]#ipvsadm--set30560<==设置连接超时值 [root@LVS1~]#ipvsadm-A-t10.211.55.16:80-swrr-p20<==-A添加地址，-t指定VIPTCP端口，-s指定调度算法–p会话保持时间 [root@LVS1~]#ipvsadm-L-n<==查看表内容，添加了一组VIP地址和端口 IPVirtualServerversion1.2.1(size=4096) ProtLocalAddress:PortSchedulerFlags ->RemoteAddress:PortForwardWeightActiveConnInActConn TCP10.211.55.16:80wrrpersistent20 [root@LVS1~]#ipvsadm-a-t10.211.55.16:80-r192.168.1.4:80-g-w1<==-a指定真实服务器，-tlvs上VIP，-r真实服务器ip及端口，-w权重值，-g先择DR模式（-m为NAT模式） [root@LVS1~]#ipvsadm-a-t10.211.55.16:80-r192.168.1.5:80-g-w1 [root@LVS1~]#ipvsadm-L-n<==查看表内容，添加了两台负载转发的真实服务器 IPVirtualServerversion1.2.1(size=4096) ProtLocalAddress:PortSchedulerFlags ->RemoteAddress:PortForwardWeightActiveConnInActConn TCP10.211.55.16:80wrrpersistent20 ->192.168.1.4:80Route100 ->192.168.1.5:80Route100 如果添加服务器地址写错了，可用如下命令删除，即大A添加改为大D删除，小a添加改为小d删除 ipvsadm–D–t10.211.55.16:80–swrr ipvsadm–d–t10.211.55.16:80–r192.168.1.4:80 5、真实WEB服务器配置及arp抑制 [root@RS1~]#ifconfigeth0|grep"inetaddr"<==此地址用来自己电脑用CRT软件登陆设备，同时也用来发送arp请求客户机MAC（因为是直接返回页面给客户机，而当前网络是同一物理网段，必须同网段才正常）。 inetaddr:10.211.55.15Bcast:10.211.55.255Mask:255.255.255.0 [root@RS1~]#ifconfigeth0:0192.168.1.4netmask255.255.255.0<==配置内部IP地址 [root@RS1~]#ifconfiglo10.211.55.16netmask255.255.255.255<==每台真实服务器都需要配置VIP 为什么要绑定VIP呢？因为DR模式原理是LVS调度器修改mac地址为真实服务器地址，报文的目的IP还是VIP没修改，，网卡只会把目的MAC和目的IP都是自己的报文上送CPU，所以真实服务器上必须配置VIP! 为什么使用lo口呢？因为lo口为本地环回口，防止本地局域网IP地址冲突! [root@RS2src]#ifconfieth0|grep"inetaddr"<==此地址用来自己电脑用CRT软件登陆设备，同时也用来发送arp请求客户机MAC（因为是直接返回页面给客户机，而当前网络是同一物理网段，必须同网段才正常）。 inetaddr:10.211.55.14Bcast:10.211.55.255Mask:255.255.255.0 [root@RS2src]#ifconfigeth0:0192.168.1.5netmask255.255.255.0<==配置内部IP地址 [root@RS2src]#ifconfiglo10.211.55.16netmask255.255.255.255 此时配置完成，只是测试时出现一个问题，再次登陆CRT中 10.211.55.16地址时，登陆到RS1上去了，再刷新，登陆到RS2上去了。怎么解决呢？通过分析，得出，访问10.211.55.16时，会发送arp请求10.211.55.16的mac,而这个网络中有3个10.211.55.16地址，此时，那谁给的arp回应到客户机，访问的就是谁了。如果RS1的arp回应先到，就访问的RS1了解决方法：抑制ARP响应该抑制只在真实服务器上配置 [root@RS1~]#echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignore [root@RS1~]#echo"2">/proc/sys/net/ipv4/conf/lo/arp_announce [root@RS1~]#echo"1">/proc/sys/net/ipv4/conf/all/arp_ignore [root@RS1~]#echo"2">/proc/sys/net/ipv4/conf/all/arp_announce [root@RS2src]#echo"1">/proc/sys/net/ipv4/conf/lo/arp_ignore [root@RS2src]#echo"2">/proc/sys/net/ipv4/conf/lo/arp_announce [root@RS2src]#echo"1">/proc/sys/net/ipv4/conf/all/arp_ignore [root@RS2src]#echo"2">/proc/sys/net/ipv4/conf/all/arp_announce 1 2都代表什么内容，可在最后附录中查看，也可自己网上搜索显示的值是RS1,则此时该链接是分配到192.168.1.4上我们使用的是wrr调度算法，该算法中，谁的权重值高，会优先分配给谁查看配置，发现权重值一样 [root@LVS1~]#ipvsadm-L-n IPVirtualServerversion1.2.1(size=4096) ProtLocalAddress:PortSchedulerFlags ->RemoteAddress:PortForwardWeightActiveConnInActConn TCP10.211.55.16:80wrrpersistent20 ->192.168.1.4:80Route100 ->192.168.1.5:80Route100 由于有会话保持功能，接下来修改权重值 [root@LVS1~]#ipvsadm-d-t10.211.55.16:80-r192.168.1.5:80<==删除原来配置 [root@LVS1~]#ipvsadm-a-t10.211.55.16:80-r192.168.1.5:80-g-w2<==重新配置权重值为2 [root@LVS1~]#ipvsadm-L-n IPVirtualServerversion1.2.1(size=4096) ProtLocalAddress:PortSchedulerFlags ->RemoteAddress:PortForwardWeightActiveConnInActConn TCP10.0.0.30:80wrrpersistent20 ->192.168.1.5:80Route200 ->192.168.1.4:80Route100 再次进行测试： 7、附：arp抑制参数 arp响应限制 1）arp_ignore: 定义对目标地址为本地IP的ARP询问不同的应答模式0 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应 4-7 - 保留未使用 8 -不回应所有（本地地址）的arp查询 2）arp_announce: 对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

2016-08-08

Centos部署Samba企业文件共享服务

Centos部署Samba企业文件共享服务声明：本文参考了网上部分资料加作者实验总结目录： 1、Samba服务概述： 1.1、Samba的原理 1.2、NETBIOS协议 2、Samba 应用环境

2016-06-22

centos7删除已经安装的docker

centos下可以使用yum来删除docker。列出docker包的具体的名字。

2016-04-25

CentOS通过bind配置DNS服务器

一、创建DNS主服务器 1、安装bind并配置主配置文件主服务器为CentOS 7，主服务地址为172.16.11.55 安装bind [root@xinfeng~]#yuminstallbind 安装完成后查看是否存在

2016-04-20

hadoop（1）：centos 安装 hadoop & hive

1，关于hive Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 Hive是Facebook 2008年8月刚开源的一个数据仓库框架，其系统目标与 Pig 有相似之处，但它有一些Pig目前还不支持的机制，比如：更丰富的类型系统、更类似SQL的查询语言、Table/Partition元数据的持久化等。本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/47617975 未经博主允许不得转载。网站首页： http://hive.apache.org/ 2，安装首先要安装hadoop https://hadoop.apache.org/ 直接下载tar.gz解压缩。最新版本2.7.1。 tar -zxvf hadoop-2.7.1.tar.gz mv hadoop-2.7.1 hadoop 下载地址： http://hive.apache.org/downloads.html 直接解压缩就可以。最新版本 1.2.1。 tar -zxvf apache-hive-1.2.1-bin.tar.gz mv apache-hive-1.2.1 apache-hive 设置环境变量： export JAVA_HOME=/usr/java/default export CLASS_PATH=$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH export HADOOP_HOME=/data/hadoop export PATH=$HADOOP_HOME/bin:$PATH export HIVE_HOME=/data/apache-hive export PATH=$HIVE_HOME/bin:$PATH 3，启动hive，创建表 hive 官网：https://cwiki.apache.org/confluence/display/Hive/Home 配置环境变量就可以启动hive了，这个hive是一个本机环境，只依赖hadoop，只有有hadoop环境变量就行。创建数据表，和mysql非常类似参考：http://www.uml.org.cn/yunjisuan/201409235.asp https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL # hive Logging initialized using configuration in jar:file:/data/apache-hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties hive> show databases; OK default Time taken: 1.284 seconds, Fetched: 1 row(s) hive> use default; OK Time taken: 0.064 seconds hive> show tables; OK Time taken: 0.051 seconds hive> CREATE TABLE user_info(uid INT,name STRING) > PARTITIONED BY (create_date STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > STORED AS TEXTFILE; OK Time taken: 0.09 seconds 使用apache hive 创建数据库表的时候有可能会遇到问题： FAILED: ParseException line 5:2 Failed to recognize predicate 'date'. Failed rule: 'identifier' in column specification 说明关键字冲突了。不能使用date，user等关键字。指定存储格式为 Sequencefile 时，把txt格式的数据导入表中，hive 会报文件格式错 Failed with exception Wrong file format. Please check the file's format. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask 4，导入数据 hive不支持用insert语句一条一条的进行插入操作，也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。因为hadoop是这个特性。创建两个数据文件： /data/user_info_data1.txt 121,zhangsan1 122,zhangsan2 123,zhangsan3 /data/user_info_data2.txt 124,zhangsan4 125,zhangsan5 126,zhangsan6 数据导入：分别将数据导入到两个分区中。 hive> LOAD DATA LOCAL INPATH '/data/user_info_data1.txt' OVERWRITE INTO TABLE user_info PARTITION (create_date='20150801'); Loading data to table default.user_info partition (create_date=20150801) Partition default.user_info{create_date=20150801} stats: [numFiles=1, numRows=0, totalSize=42, rawDataSize=0] OK Time taken: 0.762 seconds hive> LOAD DATA LOCAL INPATH '/data/user_info_data2.txt' OVERWRITE INTO TABLE user_info PARTITION (create_date='20150802'); Loading data to table default.user_info partition (create_date=20150802) Partition default.user_info{create_date=20150802} stats: [numFiles=1, numRows=0, totalSize=42, rawDataSize=0] OK Time taken: 0.403 seconds 5，查询直接查询即可。 hive> select * from user_info where create_date = 20150801; OK 121 zhangsan1 20150801 122 zhangsan2 20150801 123 zhangsan3 20150801 Time taken: 0.099 seconds, Fetched: 3 row(s) 更多查询函数参考： hive 函数大全和用户自定义函数 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 6，总结本文的原文连接是: http://blog.csdn.net/freewebsys/article/details/47617975 未经博主允许不得转载。 hive可以非常方便的进行离线数据统计，因为数据一旦录入是不能进行修改的。 hive的语法和mysql非常相似，可以充分利用hadoop进行数据统计，可以进行多次join而不用担心效率问题。目前，有一个小问题没有解决，是数据导入必须使用textfile，不是压缩文件类型。这个问题的具体描述参考： http://blog.163.com/xiaoy2002@126/blog/static/6797953420128118227663/

2015-08-13

Docker 从零开始制作基础镜像[centos]

对，找官方文档http://docs.docker.com/articles/baseimages/，这里说明的很清楚了试验如下：在centos7机器上做centos镜像直接参考这个脚本 https

2015-07-08

64位centos 下编译 hadoop 2.6.0 源码

地址 http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.0-src.tar.gz b) 下载apache-ant (centos

2015-04-24

CentOS 64位上编译 Hadoop2.6.0

由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时会出错，比如： java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 所以需要重新编译 1.编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst 2.安装JDK(下载JDK1.7，只能用1.7，否则编译会出错) 下载页面: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html tar -zxvf jdk-7u75-linux-x64.tar.gz -C /usr/local export JAVA_HOME=/usr/local/jdk1.7.0_75 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin 3.安装protobuf 下载protobuf-2.5.0，不能用高版本，否则Hadoop编译不能通过 wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz 或者在百度云盘上下载：http://yun.baidu.com/share/link?shareid=830873155&uk=3573928349 tar -zxvf protobuf-2.5.0.tar.gz cd protobuf-2.5.0 ./configure make make install protoc --version 4.安装ANT wget http://mirror.bit.edu.cn/apache/ant/binaries/apache-ant-1.9.4-bin.tar.gz tar -zxvf apache-ant-1.9.4-bin.tar.gz -C /usr/local vi /etc/profile export ANT_HOME=/usr/local/apache-ant-1.9.4 export PATH=$PATH:$ANT_HOME/bin 5.安装maven wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.1/binaries/apache-maven-3.3.1-bin.tar.gz tar -zxvf apache-maven-3.3.1-bin.tar.gz -C /usr/local vi /etc/profile export MAVEN_HOME=/usr/local/apache-maven-3.3.1 export PATH=$PATH:$MAVEN_HOME/bin 修改配置文件 vi /usr/local/apache-maven-3.3.1/conf/settings.xml 更改maven资料库，在<mirrors></mirros>里添加如下内容： <mirror> <id>nexus-osc</id> <mirrorOf>*</mirrorOf> <name>Nexusosc</name> <url>http://maven.oschina.net/content/groups/public/</url> </mirror> 在<profiles></profiles>内新添加 <profile> <id>jdk-1.7</id> <activation> <jdk>1.7</jdk> </activation> <repositories> <repository> <id>nexus</id> <name>local private nexus</name> <url>http://maven.oschina.net/content/groups/public/</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>false</enabled> </snapshots> </repository> </repositories> <pluginRepositories> <pluginRepository> <id>nexus</id> <name>local private nexus</name> <url>http://maven.oschina.net/content/groups/public/</url> <releases> <enabled>true</enabled> </releases> <snapshots> <enabled>false</enabled> </snapshots> </pluginRepository> </pluginRepositories> </profile> 在shell下执行，使环境变量生效 source /etc/profile 7.编译 Hadoop2.6.0 wget http://mirror.bit.edu.cn/apache/hadoop/core/hadoop-2.6.0/hadoop-2.6.0-src.tar.gz cd hadoop-2.6.0-src mvn package -DskipTests -Pdist,native -Dtar 如果是第一次使用maven，会打印很多如下日志信息 Downloading: http://maven.oschina.net/... Scanning for projects... ... [INFO] Apache Hadoop Main ................................. SUCCESS [ 4.590 s][INFO] Apache Hadoop Project POM .......................... SUCCESS [ 3.503 s][INFO] Apache Hadoop Annotations .......................... SUCCESS [ 5.870 s][INFO] Apache Hadoop Assemblies ........................... SUCCESS [ 0.540 s][INFO] Apache Hadoop Project Dist POM ..................... SUCCESS [ 3.921 s][INFO] Apache Hadoop Maven Plugins ........................ SUCCESS [ 7.731 s][INFO] Apache Hadoop MiniKDC .............................. SUCCESS [ 6.805 s][INFO] Apache Hadoop Auth ................................. SUCCESS [ 9.008 s][INFO] Apache Hadoop Auth Examples ........................ SUCCESS [ 6.991 s][INFO] Apache Hadoop Common ............................... SUCCESS [03:12 min][INFO] Apache Hadoop NFS .................................. SUCCESS [ 16.557 s][INFO] Apache Hadoop KMS .................................. SUCCESS [ 24.476 s][INFO] Apache Hadoop Common Project ....................... SUCCESS [ 0.115 s][INFO] Apache Hadoop HDFS ................................. SUCCESS [05:09 min][INFO] Apache Hadoop HttpFS ............................... SUCCESS [ 40.145 s][INFO] Apache Hadoop HDFS BookKeeper Journal .............. SUCCESS [ 15.876 s][INFO] Apache Hadoop HDFS-NFS ............................. SUCCESS [ 9.236 s][INFO] Apache Hadoop HDFS Project ......................... SUCCESS [ 0.125 s][INFO] hadoop-yarn ........................................ SUCCESS [ 0.129 s][INFO] hadoop-yarn-api .................................... SUCCESS [02:49 min][INFO] hadoop-yarn-common ................................. SUCCESS [01:01 min][INFO] hadoop-yarn-server ................................. SUCCESS [ 0.099 s][INFO] hadoop-yarn-server-common .......................... SUCCESS [ 25.019 s][INFO] hadoop-yarn-server-nodemanager ..................... SUCCESS [ 33.655 s][INFO] hadoop-yarn-server-web-proxy ....................... SUCCESS [ 5.761 s][INFO] hadoop-yarn-server-applicationhistoryservice ....... SUCCESS [ 13.714 s][INFO] hadoop-yarn-server-resourcemanager ................. SUCCESS [ 41.930 s][INFO] hadoop-yarn-server-tests ........................... SUCCESS [ 13.364 s][INFO] hadoop-yarn-client ................................. SUCCESS [ 17.408 s][INFO] hadoop-yarn-applications ........................... SUCCESS [ 0.042 s][INFO] hadoop-yarn-applications-distributedshell .......... SUCCESS [ 5.131 s][INFO] hadoop-yarn-applications-unmanaged-am-launcher ..... SUCCESS [ 3.710 s][INFO] hadoop-yarn-site ................................... SUCCESS [ 0.107 s][INFO] hadoop-yarn-registry ............................... SUCCESS [ 12.531 s][INFO] hadoop-yarn-project ................................ SUCCESS [ 7.781 s][INFO] hadoop-mapreduce-client ............................ SUCCESS [ 0.116 s][INFO] hadoop-mapreduce-client-core ....................... SUCCESS [ 47.915 s][INFO] hadoop-mapreduce-client-common ..................... SUCCESS [ 38.104 s][INFO] hadoop-mapreduce-client-shuffle .................... SUCCESS [ 9.073 s][INFO] hadoop-mapreduce-client-app ........................ SUCCESS [01:01 min][INFO] hadoop-mapreduce-client-hs ......................... SUCCESS [ 18.149 s][INFO] hadoop-mapreduce-client-jobclient .................. SUCCESS [ 9.002 s][INFO] hadoop-mapreduce-client-hs-plugins ................. SUCCESS [ 3.222 s][INFO] Apache Hadoop MapReduce Examples ................... SUCCESS [ 13.224 s][INFO] hadoop-mapreduce ................................... SUCCESS [ 6.571 s][INFO] Apache Hadoop MapReduce Streaming .................. SUCCESS [ 9.781 s][INFO] Apache Hadoop Distributed Copy ..................... SUCCESS [ 16.254 s][INFO] Apache Hadoop Archives ............................. SUCCESS [ 5.302 s][INFO] Apache Hadoop Rumen ................................ SUCCESS [ 13.760 s][INFO] Apache Hadoop Gridmix .............................. SUCCESS [ 8.858 s][INFO] Apache Hadoop Data Join ............................ SUCCESS [ 6.252 s][INFO] Apache Hadoop Ant Tasks ............................ SUCCESS [ 4.276 s][INFO] Apache Hadoop Extras ............................... SUCCESS [ 6.206 s][INFO] Apache Hadoop Pipes ................................ SUCCESS [ 1.945 s][INFO] Apache Hadoop OpenStack support .................... SUCCESS [ 12.239 s][INFO] Apache Hadoop Amazon Web Services support .......... SUCCESS [ 38.137 s][INFO] Apache Hadoop Client ............................... SUCCESS [ 13.213 s][INFO] Apache Hadoop Mini-Cluster ......................... SUCCESS [ 0.169 s][INFO] Apache Hadoop Scheduler Load Simulator ............. SUCCESS [ 13.206 s][INFO] Apache Hadoop Tools Dist ........................... SUCCESS [ 15.248 s][INFO] Apache Hadoop Tools ................................ SUCCESS [ 0.162 s][INFO] Apache Hadoop Distribution ......................... SUCCESS [01:09 min][INFO] ------------------------------------------------------------------------[INFO] BUILD SUCCESS[INFO] ------------------------------------------------------------------------[INFO] Total time: 25:19 min[INFO] Finished at: 2015-03-26T17:54:10+08:00[INFO] Final Memory: 106M/402M[INFO] ------------------------------------------------------------------------ 经过漫长的等待编译过程后,编译成功后会打包，放在hadoop-dist/target #ll total 528824drwxr-xr-x 2 root root 4096 Mar 26 17:53 antrun-rw-r--r-- 1 root root 1874 Mar 26 17:53 dist-layout-stitching.sh-rw-r--r-- 1 root root 647 Mar 26 17:53 dist-tar-stitching.shdrwxr-xr-x 9 root root 4096 Mar 26 17:53 hadoop-2.6.0-rw-r--r-- 1 root root 180222548 Mar 26 17:53 hadoop-2.6.0.tar.gz-rw-r--r-- 1 root root 2777 Mar 26 17:53 hadoop-dist-2.6.0.jar-rw-r--r-- 1 root root 361254421 Mar 26 17:54 hadoop-dist-2.6.0-javadoc.jardrwxr-xr-x 2 root root 4096 Mar 26 17:53 javadoc-bundle-optionsdrwxr-xr-x 2 root root 4096 Mar 26 17:53 maven-archiverdrwxr-xr-x 2 root root 4096 Mar 26 17:53 test-dir 编译后的文件见百度云盘然后把lib下native下的文件覆盖掉hadoop下native中文件就ok了

2015-03-25

openStack windows2008 centos6.* img

1,下载 windows2008 系统iso介质包 http://download.microsoft.com/download/F/3/8/F384E78B-8F1D-42A6-A308-63E45060E823/7601.17514.101119-1850_x64fre_server_eval_zh-cn-GRMSXEVAL_CN_DVD.iso 2, The size of the disk in a virtual machine image is determined when you initially create theimage. However, OpenStack lets you launch instances with different size drives by specifyingdifferent flavors

2015-01-12

openStack icehouse for centos6.4 production Env 实战

production Env brief Overview: Management Node: controller.cc 10.114.100.115 Neutron Network Node: network.cc 10..114.100.119 Compute Node 001: compute001.cc 10.114.100.118 Compute Node 002: compute002.cc 10.114.100.117

2015-01-12

CentOS 安装 hadoop hbase 使用 cloudera 版本。（一）

然后安装 64bit的 CentOS 系统。安装过程略。

2013-03-03

AlmaLinux 9.5 发布，CentOS 最佳替代方案之一

AlmaLinux OS 9.5 现已正式发布，代号 ““Teal Serval”。目前提供的 ISO 镜像文件支持如下 4 种架构： Intel/AMD (x86_64) ARM64 (aarch64) IBM PowerPC (ppc64le) IBM Z (s390x) 公告称，AlmaLinux 9.5 旨在提高性能、开发工具和安全性。更新的模块流为 Web 应用程序提供了更好的支持。新版本的编译器提供了对最新功能和优化的访问，从而提高了性能并实现了更好的代码生成。该版本还引入了对系统性能监控、可视化和系统性能数据收集的改进。安全更新旨在加强加密，而 SELinux 策略则实施更严格的访问控制。此外，加密策略提供了更强大的加密，从而提高了系统的整体安全性。完整信息可查看AlmaLinux OS 9.5 发行说明。询问AI

2024-11-19

资源下载

更多资源

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。