Linux中csv文件按照指定大小进行分割的shell(方法)
程序员文章站
2022-11-03 19:54:57
需求:将一个CSV文件按照指定大小进行分割
原因:自己编写shell的原因是,自带的split是可以按照文件大小进行分割的,结果是文件最后一行可能被截断。最后一行数据分成两截在两...
需求:将一个CSV文件按照指定大小进行分割
原因:自己编写shell的原因是,自带的split是可以按照文件大小进行分割的,结果是文件最后一行可能被截断。最后一行数据分成两截在两个文件中。为了达到最终文件也是一行一行完整的存储,自己写了一个shell。
#!/bin/bash source /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_80 size=$1 file=$2 FileSize=`ls -l $file |awk '{print $5}'` res=`echo "scale=2;$FileSize/(1024*1024*$size)+0.1" |bc` #根据要求的大小,算需要分割为多少个文件 lines=`wc -l $file |awk '{print $1}'` echo orginal file lines is $lines, split file less than $1M, file number '>' $res num=`echo "$lines/$res" |bc` # 判断目录是否存在 if [[ $3 == */* ]] then #获得目录 dist_10040503_res/tianmao_ 截取dist_10040503_res/为目录 # -v awk_all="$3" 是shell给awk传参数的做法 此处的$3是shell的外部参数 dic=`awk -v awk_all="$3" 'BEGIN{info=awk_all;tlen=split(info,tA,"/");dic=length(info)-length(tA[tlen]);{print substr(info,1,dic)}}'` if [[ ! -d "$dic" ]] then mkdir -p $dic fi fi splitFile=`split -l $num $file $3` # 修改后缀 for i in $3* do fileName="$i"".csv" echo $fileName mv $i $i".csv" done
文件按照大小进行切分
参数1(最终文件大小要小于的数字)
参数2(要切分的文件)
参数3(最终文件存放的位置/文件名字的前缀 或者文件的前缀)
如果参数3格式是 dist_1005773/test_dist_1005773_ 则认为最终的文件存放在dist_1005773目录下以test_dist_1005773_开头
如果参数3格式是 test_dist_1005773_ 则认为最终的文件存放在当前目录下以test_dist_1005773_开头
sh split_file.sh 120 dist_1005773_1_100651_171218-180214.csv dist_1005773/test_dist_1005773_