clickhouse 集群rpm包方式署配置

2021-05-27 801

clickhouse 集群rpm包方式署配置

标签（空格分隔）： ClickHouse系列

[toc]

一：clickhouse 简介

1.1 clickhouse 数据库简介

clickhouse 是 2016 年俄罗斯yandex 公司开源出来的一款MPP架构（大规模并行处理）的列式数据库，主要用于大数据分析（OLAP）领域，具有快速查询，线性可扩展，功能丰富，硬件利用效率高，容错，高度可靠等优点。

ClickHouse的主要应用场景：
电信行业用于存储数据和统计数据使用
用户行为数据记录与分析
信息安全日志分析
商业智能与广告网络价值数据挖掘分析
网络游戏以及物联网的数据处理与分析。

clickhouse 与其它的数据查询对比
https://clickhouse.tech/benchmark/dbms/

二: clickhouse单机版本部署

2.1 系统环境准备

系统：CentOS7.9x64
拥有sudo权限的非root用户,如：clickhouse

cat /etc/hosts 
----
192.168.100.11  node01.flyfish.cn
192.168.100.12  node02.flyfish.cn
192.168.100.13  node03.flyfish.cn
192.168.100.14  node04.flyfish.cn
192.168.100.15  node05.flyfish.cn
192.168.100.16  node06.flyfish.cn
192.168.100.17  node07.flyfish.cn
192.168.100.18  node08.flyfish.cn
----
单机版本安装第一台， 集群安装 前4台

useradd -m clickhouse && echo clickhouse |passwd clickhouse --stdin
给 clickhouse 用户提权：
chmod +x /etc/sudoers 

vim /etc/sudoers 
---
clickhouse      ALL=(ALL)       NOPASSWD:ALL
----
su - clickhouse 
sudo su

###2.2. 单节点安装

sudo yum install yum-utils
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/clickhouse.repo
sudo yum install clickhouse-server clickhouse-client

Server config files: /etc/clickhouse-server/
库数据位置：/var/lib/clickhouse/
日志目录：/var/log/clickhouse-server/
您已成功安装ClickHouse服务器和客户端。

配置click喉house 的监听端口：
   vim +159 /etc/clickhouse/config.xml
   ----
  159 行
     <listen_host>0.0.0.0</listen_host>
   ----

启动clickhouse
  sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml

以服务方式启动
 sudo systemctl start clickhouse-server
sudo systemctl stop clickhouse-server
sudo systemctl status clickhouse-server

clickhouse-client

2.3 clickhouse 集群版本部署

2.3.1 部署 zookeeper 集群

在node02.flyfish.cn/node03.flyfish.cn/node04.flyfish.cn 部署zookeeper

  mkdir -p /opt/bigdata/
  tar -zxvf jdk1.8.0_201.tar.gz
  mv jdk1.8.0_201 /opt/bigdata/jdk
  vim /etc/profile
  ---
### jdk
export JAVA_HOME=/opt/bigdata/jdk
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
---
source /etc/profile 
java -version

2.3.2 部署zookeeper

部署zookeeper
tar -zxvf zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14 /opt/bigdata/zookeeper
mkdir -p /opt/bigdata/zookeeper/data
mkdir -p /opt/bigdata/zookeeper/log

cd /opt/bigdata/zookeeper/data/

echo 1 > myid
----
cd /opt/bigdata/zookeeper/conf 

cp zoo_sample.cfg zoo.cfg 

vim zoo.cfg 

----
# 心跳时间
tickTime=2000
# follow连接leader的初始化连接时间，表示tickTime的倍数
initLimit=10
# syncLimit配置表示leader与follower之间发送消息，请求和应答时间长度。如果followe在设置的时间内不能与leader进行通信，那么此follower将被丢弃，tickTime的倍数
syncLimit=5
# 客户端连接端口
clientPort=2181
# 节点数据存储目录，需要提前创建，注意myid添加，用于标识服务器节点
dataDir=/opt/bigdata/zookeeper/data
dataLogDir=/opt/bigdata/zookeeper/log
server.1=192.168.100.12:2888:3888
server.2=192.168.100.13:2888:3888
server.3=192.168.100.14:2888:3888
---
-----

scp -r zookeeper root@192.168.100.13:/usr/local/
scp -r zookeeper root@192.168.100.14:/usr/local/
修改192.168.100.13 节点 myid 
cd /opt/bigdata/zookeeper/data/
echo 2 > myid 
修改192.168.100.14 节点 myid
cd /opt/bigdata/zookeeper/data/
echo 3 > myid

启动zookeeper 

cd /opt/bigdata/zookeeper/bin/

./zkServer.sh start

2.3.3 部署clickhouse集群

所有节点安装clickhouse 同上单机配置
clickhouse-client

创建clickhouse 数据存放目录 (所有节点全部新建)
mkdir /data/clickhouse -p
chmod 777 /data/clickhouse

vim /etc/clickhouse-server/config.xml
---
<yandex>
<!--引入metrika.xml-->
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>
 <!-- Path to data directory, with trailing slash. -->
 <path>/data/clickhouse/</path>
<!-- Path to temporary data for processing hard queries. -->
<tmp_path> /data/clickhouse/tmp/</tmp_path>
<!-- <tmp_policy>tmp</tmp_policy> -->
   <!-- 存储路径 -->
    <storage_configuration>
        <disks>
            <disk_name_0>
                <path>/data/clickhouse/</path>
            </disk_name_0>
                                             ### 这边要是有多个就写多个  
        </disks>
        <policies>
            <policy_name_1>
                <volumes>
                    <volume_name_0>
                        <disk>disk_name_0</disk>  ### 这边按照上面的写
                    </volume_name_0>
                </volumes>
            </policy_name_1>
        </policies>
    </storage_configuration>

拿掉所有localhost的本地存储shared 分片不做显示：
     <remote_servers incl="clickhouse_remote_servers" >
      ......                                              #### 全部注释掉
     </remote_servers>

  <!--    引用Zookeeper配置的定义-->
    <zookeeper incl="zookeeper-servers" optional="true"/>

    <macros incl="macros" optional="true" />
---

cd /etc/clickhouse-server/config.d/
vim metrika.xml
---
<yandex>
    <clickhouse_remote_servers>
        <!--集群名称，clickhouse支持多集群的模式-->
        <clickhouse_cluster>
            <!--定义分片节点，这里我指定3个分片，每个分片只有1个副本，也就是它本身-->
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>node01.flyfish.cn</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <replica>
                    <internal_replication>true</internal_replication>
                    <host>node02.flyfish.cn</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>node03.flyfish.cn</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>node04.flyfish.cn</host>
                    <port>9000</port>
                </replica>
            </shard>
        </clickhouse_cluster>
    </clickhouse_remote_servers>

    <!--zookeeper集群的连接信息-->
    <zookeeper-servers>
        <node index="1">
            <host>node02.flyfish.cn</host>
            <port>2181</port>
        </node>

        <node index="2">
            <host>node03.flyfish.cn</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>node04.flyfish.cn</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

    <!--定义宏变量，后面需要用-->
    <macros>
        <replica>node04.flyfish.cn</replica>   ### 在那台主机上面就写那个主机名
    </macros>

    <!--不限制访问来源ip地址-->
    <networks>
        <ip>::/0</ip>
    </networks>

    <!--数据压缩方式，默认为lz4-->
    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>

            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>

</yandex>
---

同步所有主机：
  scp /etc/clickhouse-server/config.xml root@node02.flyfish.cn:/etc/clickhouse-server/
  scp /etc/clickhouse-server/config.xml root@node03.flyfish.cn:/etc/clickhouse-server/
  scp /etc/clickhouse-server/config.xml root@node04.flyfish.cn:/etc/clickhouse-server/

scp /etc/clickhouse-server/config.d/metrika.xml root@node02.flyfish.cn:/etc/clickhouse-server/config.d/

scp /etc/clickhouse-server/config.d/metrika.xml root@node03.flyfish.cn:/etc/clickhouse-server/config.d/

scp /etc/clickhouse-server/config.d/metrika.xml root@node04.flyfish.cn:/etc/clickhouse-server/config.d/

修改所有主机的

 <!--定义宏变量，后面需要用-->
    <macros>
        <replica>node04.flyfish.cn</replica>   ### 在那台主机上面就写那个主机名 这边是node04.flyfish.cn 其它节点对应修改
    </macros>

启动停止：

systemctl stop clickhouse-server.service  停机所有集群
systemctl start clickhouse-server.service   所有节点全部启动
systemctl status clickhouse-server.service   所有节点查看clickhouse 节点状态

随便登录到其中一个节点：
  clickhouse-client 
  select * from system.clusters;

微信关注我们

原文链接：https://blog.51cto.com/flyfish225/2821379

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

动态通讯录

柔性数组：结构体的最后一个元素数组的大小可以是未知数字大小结构体柔性数组前必须至少有一个其他成员，sizeof返回的结构体大小不包括柔性数组大小写了两个代码，第一次用了一次动态内存开辟，第二次用来两次内存开辟越少越好，调整越少内存碎片越少，内存越连续。把静态通讯录改进动态内存通讯录，可以想成默认三个人信息每次通信录满时，扩容两个空间（柔性数组） #define_CRT_SECURE_NO_WARNINGS1 #define FAULL_SZ3 #include<stdio.h> #include<string.h> #include<stdlib.h> #include<errno.h> enumoption//枚举类型菜单选择方便 { zero,//0 add,//1 del,//2 search, modify, show, sort, save, }; structPeoinfo { charname[20]; intage; charsex[5]; chartele[12]; charader[30]; }; struct...

2021-05-27

1040

相信各位应用开发者在写应用的前端部分时，会遇到这样的场景：通过某一事件触发界面上某一内容改变。比如说手表上心率数据的变化，是心率变化的事件触发手表界面心率数据的改变。看似简单的场景，实际上用到了“数据绑定”这一技术。“事件”首先改变的是js中的一段文字对象，因js中的文字对象和标记语言的text组件里的文字内容做了数据绑定，使得改变js文字对象的操作能够令text组件里的文字内容发生改变。 “数据绑定”是实现上述场景最基础的技术，本文会基于一系列实例详细介绍”HarmonyOS数据绑定“的使用方法和技巧。 01 数据绑定概念数据绑定，指的是将界面元素（View）的数据和对象实例（Model）的数据进行绑定，使它们具有相关性。根据界面元素更新是否会引起对象实例的更新，数据绑定可分为单向数据绑定和双向数据绑定。单向数据绑定指的是对象实例的数据更新会引起界面元素的更新，反之不行；双向数据绑定指的是对象实例的数据更新会引起界面元素的数据更新，界面元素的数据更新也会引起对象实例的数据更新。根据对象实例数据类型的不同，数据绑定又可分为简单数据绑定和复杂数据绑定，简单数据绑定数据为基本类...

2021-05-27

605

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。