Clickhouse 多路径存储策略

在Clickhouse 19.15版本之前，MergeTree 只支持单路径存储，所有的数据都会被写入config.xml配置中path指定的路径下，
即使服务器挂载了多块磁盘，也无法有效利用这些存储空间。

为了解决这种问题 在19.15版本开始支持MergeTree自定义存储策略的功能，支持以数据分区为最小移动单元将分区目录写入多
块磁盘目录。

根据配置策略的不同，目前大致有三类存储策略：
1.默认策略（default）：MergeTree原本的存储策略，无须任何配置，所有分区会自动保存到config.xml 配置中的path指定的路径。
2.JBOD策略：这种策略适用于服务器挂载了多块磁盘，但是没有RAID的场景。JBOD （Just a Bunch Of Disks），是一种
Round-robin 轮询策略，每执行一次INSERT或者Merge 所产生的新分区会轮询写入各个磁盘。这种策略的效果类似于RAID 0，可以
降低单块磁盘的负载，在一定条件下能增加数据并行读写的性能。若单块磁盘发生故障，则会丢掉应用JBOD策略写入的这部分数据。
3.HOT/COLD策略：（冷热分离）这种策略适合服务器挂载了不同类型磁盘的场景。将存储磁盘分为HOT和COLD。
HOT使用SSD，注重性能；
COLD区域使用HDD这类高容量存储媒介，注重存取的经济性。
数据在写入的MergeTree之初，首先会在HOT区域创建分区目录保存数据，当分区数据大小达到阈值数据会自动移动到COLD区域。
而在每个区域的内部也支持定义多个磁盘，所以在单个区域写入的过程，也能使用JBOD策略。

disks 配置示例：
<storage_configuration>
    <disks>
        <disk_name_1> <!-- disk name -->
            <path>/mnt/fast_ssd/clickhouse/</path>
        </disk_name_1>
        <disk_name_2>
            <path>/mnt/hdd1/clickhouse/</path>
            <keep_free_space_bytes>10485760</keep_free_space_bytes>
        </disk_name_2>
        <disk_name_3>
            <path>/mnt/hdd2/clickhouse/</path>
            <keep_free_space_bytes>10485760</keep_free_space_bytes>
        </disk_name_3>

        ...
    </disks>

    ...
</storage_configuration>

解释：
<disk_name_*> 必填项，必须全局唯一，表示磁盘的自定义名称
<path> 必填项，用于指定磁盘路
<keep_free_space_bytes> 选填项，用于指定指定磁盘的预留空间，单位字节bit
注意：磁盘的配置选项的先后顺序没有关系。

在policies 的配置中，需要引用先前定义的disks磁盘。policies 同样支持定义多个策略。

policies策略示例：
<storage_configuration>
    ...
    <policies>
        <policy_name_1>
            <volumes>
                <volume_name_1>
                    <disk>disk_name_from_disks_configuration</disk>
                    <max_data_part_size_bytes>1073741824</max_data_part_size_bytes>
                </volume_name_1>
                <volume_name_2>
                    <!-- configuration -->
                </volume_name_2>
                <!-- more volumes -->
            </volumes>
            <move_factor>0.2</move_factor>
        </policy_name_1>
        <policy_name_2>
            <!-- configuration -->
        </policy_name_2>

        <!-- more policies -->
    </policies>
    ...
</storage_configuration>

解释：
<policy_name_*>必填项，必须全局唯一，表示策略的自定义名称
<volume_name_*>必填项，必须全局唯一，表示卷的自定义名称
<disk> 必填项，用于关联<disks>配置内的磁盘，可以声明多个disk，MergeTree会按照定义的顺序选择disk
<max_data_part_size_bytes> 选填，字节为单位 默认1G，表示在这个卷的单个disk磁盘中，一个数据分区的最大磁盘存储阈值，
若当前分区的数据大小超过阈值，则之后的分区会写入下一个disk磁盘。
<move_factor> 选填项，默认值为0.1,；若当前卷的可用空间大小小于factor因子，并且定义多个卷，则数据会自动移动到下一个卷。


JBOD策略：
0.添加磁盘：
# lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0          11:0    1 1024M  0 rom  
nvme0n1     259:0    0   60G  0 disk 
├─nvme0n1p1 259:1    0   25G  0 part /opt
├─nvme0n1p2 259:2    0   15G  0 part /var
├─nvme0n1p3 259:3    0   10G  0 part /
├─nvme0n1p4 259:4    0    1K  0 part 
└─nvme0n1p5 259:5    0   10G  0 part /data

1.在配置文件中配置config.xml ，为了避免升级操作服务文件建议写到/etc/clickhouse-server/config.d/ 下：