欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Linux中csv文件按照指定大小进行分割的shell(方法)

程序员文章站 2022-11-03 19:54:57
需求:将一个CSV文件按照指定大小进行分割 原因:自己编写shell的原因是,自带的split是可以按照文件大小进行分割的,结果是文件最后一行可能被截断。最后一行数据分成两截在两...

需求:将一个CSV文件按照指定大小进行分割

原因:自己编写shell的原因是,自带的split是可以按照文件大小进行分割的,结果是文件最后一行可能被截断。最后一行数据分成两截在两个文件中。为了达到最终文件也是一行一行完整的存储,自己写了一个shell。

#!/bin/bash
source /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
size=$1
file=$2

FileSize=`ls -l $file |awk '{print $5}'`
res=`echo "scale=2;$FileSize/(1024*1024*$size)+0.1" |bc` #根据要求的大小,算需要分割为多少个文件
lines=`wc -l $file |awk '{print $1}'`
echo orginal file lines is $lines, split file less than $1M, file number '>' $res
num=`echo "$lines/$res" |bc`
# 判断目录是否存在
if [[ $3 == */* ]]
then
   #获得目录  dist_10040503_res/tianmao_ 截取dist_10040503_res/为目录
   # -v awk_all="$3" 是shell给awk传参数的做法 此处的$3是shell的外部参数
   dic=`awk -v awk_all="$3" 'BEGIN{info=awk_all;tlen=split(info,tA,"/");dic=length(info)-length(tA[tlen]);{print substr(info,1,dic)}}'`
   if [[ ! -d "$dic" ]]
   then
      mkdir -p $dic
   fi
fi
splitFile=`split -l $num $file $3`
# 修改后缀
for i in $3*
do
   fileName="$i"".csv"
   echo $fileName
   mv $i $i".csv"
done
文件按照大小进行切分

参数1(最终文件大小要小于的数字)

参数2(要切分的文件)

参数3(最终文件存放的位置/文件名字的前缀 或者文件的前缀)

如果参数3格式是 dist_1005773/test_dist_1005773_ 则认为最终的文件存放在dist_1005773目录下以test_dist_1005773_开头

如果参数3格式是 test_dist_1005773_ 则认为最终的文件存放在当前目录下以test_dist_1005773_开头

sh split_file.sh 120 dist_1005773_1_100651_171218-180214.csv dist_1005773/test_dist_1005773_