python脚本处理读取txt文件,并且处理json数据,核对两文件数据是否一致
程序员文章站
2022-03-03 20:42:13
...
实际工作处理数据报文格式,以及数据内容去做数据的核对脚本。
之前是有直接消费kafka去读取数据的,一个topic放了多个省份的数据,通过sourceID区分数据。目前这个是直接读取本地文件夹。如果有疑问欢迎私信提问
#encoding=utf8
import json
import multiprocessing
import sys
import time
starttime=int(time.time())
def opptype(op):
if op
上一篇: hive数仓、数据中台数据核对的方法
下一篇: centos7.X 卸载网卡后修复方案