把CSV数据合成json样书存入字典、列表并打印的python脚本
程序员文章站
2022-07-08 09:40:32
...
1.脚本实现背景
该脚本的目的是，为了把期望数据转换成json数据，为之前代理脚本获取的实时数据进行对比！为实现数据自动化对比做铺垫！
原有的数据csv中数据格式如下所示：
上图中颜色圈起来的部分作为一个数据项，会整理整格式如下所示的：
2.脚本源代码
脚本名是readDataToDic.py
#coding=utf8
import csv
import logging
'''
Author:ewang
Data:2017/07/12
该模块的主要功能函数：
readDataToList():把csv中的数据，数据项以字典类型存储在列表中。
getAllServiceId():获取所有的serviceId列表
printListData():输出数据list中的每项数据
createDataDic():创建一个数据字典表，以serviceId为key，相同的数据项列表为value
printDicData():输出数据字典中的每项数据
'''
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%a, %d %b %Y %H:%M:%S',
filename='readDate.log',
filemode='w')
class GenExceptData(object):
def __init__(self):
try:
#存放csv中读取的数据
self.mdbuffer=[]
#打开csv文件，设置读的权限
csvHand=open("20170510174450.csv","r")
#创建读取csv文件句柄
readcsv=csv.reader(csvHand)
#把csv的数据读取到mdbuffer中
for row in readcsv:
self.mdbuffer.append(row)
#把数据穿件为为字典类型的
except Exception,e:
logging.error("Read Excel error:"+e)
finally:
#关闭csv文件
csvHand.close()
def readDataToList(self):
try:
#在数组最后添加一个空白行
#该行的作用是为了成功获取最后一条json数据
#在数组endLine添加空白字符
endLine=[" " for num in range(len(self.mdbuffer[1])) if num>=0]
#把以空字符的endLine添加到末尾
self.mdbuffer.append(endLine)
#获取mdbuffer中的元素个数
rowNumber=len(self.mdbuffer)
#设置当前行号
currentrow=1
#设置json数据的属性值
propertyJson={}
#读取列表中的元素
dataList=[]
try:
for row in range(1,rowNumber):
#创建一个临时变量用来存取一次循环的属性键值
temp={}
#获取列表中一个元素
item=self.mdbuffer[row]
#获取当前元素，当前元素代表的是每个
#事件起始的位置
currentItem=self.mdbuffer[currentrow]
#获取serviceId并进行解码
serviceId= currentItem[2].decode("gbk")
#获取属性并进行解码，把解码的值存入propertyName
propertyName=item[3].decode("gbk")
#获取属性值并进行解码，把解码的值存入propertyValue
propertyValue=item[4].decode("gbk")
try:
#判断埋点事件与serviceId是否相等
if item[0]==currentItem[0] and item[2]==currentItem[2]:
#把serviceId方式字典propertyJson中
propertyJson["serviceId"]=serviceId
#把属性/值对放入temp字典中
temp[propertyName]=propertyValue
#调用字典的update函数，把temp中的键值对
#添加到 propertyJson字典中
propertyJson.update(temp)
#使用continue，如果为if条件为true则循环执行if语句模块
continue
else:
#把行号设置为当前行
currentrow=row
#把当前的属性解码放入propertyName
propertyName=currentItem[3].decode("gbk")
#把当前的属性值解码放入propertyName
propertyValue=currentItem[4].decode("gbk")
#把serviceId方式字典propertyJson中
propertyJson["serviceId"]=serviceId
#把属性/值对放入propertyJson字典中
propertyJson[propertyName]=propertyValue
#propertyJsonList.append(propertyJson)
dataList.append(propertyJson)
'''
在这说下：
propertyJson.clear()与propertyJson={}的区别：
propertyJson.clear()是删除字典的值，不创建引用，会改变字典本身的值；
propertyJson={}是创建新的引用，字典的中的值不发现变化；
如果想让 self.dataDic.append(propertyJson)该语句执行成功，而且添加每次循环的值，
需要使用propertyJson={}方法；
如果使用propertyJson.clear(),只会把最后一次propertyJson存储的值，添加到self.dataDic中
'''
propertyJson={}
except Exception,e:
logging.error("Get Property Json Error:" +e)
#print "Get Property Json Error:",e
except Exception,e:
logging.error("Get Date Error:"+e)
#print "Get Date Error:",e
#返回dataList
return dataList
except Exception,e:
#把信息写入日志中
logging.error("Reading Data TO Dic Error:"+e)
#print "Reading Data TO Dic Error:",e
def getAllServiceId(self):
try:
#调用readDataToList函数创建一个数据list
dataList=self.readDataToList()
#把数据list中的所有serviceId放入表serList中
serList=[item["serviceId"] for item in dataList if item["serviceId"] ]
#对serList中的数据去重，分为两步：
#第一步把列表转换成集合：set(serList)
#第二步：把集合转换为list：list(set(serList))
#集合和list的区别：集合中的数据是唯一性，不存在相同部分
serList=list(set(serList))
#返回serList
return serList
except Exception,e:
logging.error("Create ServiceId List Error:"+e)
#print "Create ServiceId List Error:"+e
#输出list中的数据信息
def printListData(self):
try:
#调用readDataToList方法获取dataList列表
dataList=self.readDataToList()
#对列表中的数据执行for循环
#并输出类似与json样式的数据
for item in dataList:
print "{"
#输出键值对
for key,val in item.items():
print "\t",key,":",val,","
print "}"
#设置以#格式的分隔符
print "#"*50
except Exception,e:
logging.error("OutPut List Data Error:"+e)
#print "OutPut List Data Error:"+e
#创建一个数据字典
def createDataDic(self):
try:
#定义个数据字典变量
dataDic={}
#调用函数readDataToList创建一个dataList表
dataList=self.readDataToList()
#调用getAllServiceId获取serviceId列表
serviceIdList=self.getAllServiceId()
#判断列表中是否有元素，如果有执行if语句
if len(serviceIdList)>0 and len(dataList)>0:
#对serviceIdList进行循环，以serviceId作为key
for serviceId in serviceIdList:
#创建一个list用来存放serviceId相同的数据项
sameServiceidJosnList=[]
#对数据列表执行循环
for item in dataList:
#获取字典中键为serviceId值，放入变量中
itemServiceId=item["serviceId"]
#如果值不为空，执行if语句
if itemServiceId:
#判断serviceId与数据项中serviceId的值是否相等
#如果相等执行if语句块
if serviceId==itemServiceId:
#把数据项加入sameServiceidJosnList列表中
sameServiceidJosnList.append(item)
else:
logging.debug("ServiceId is null")
#print "ServiceId is null"
#给字典赋值，以serviceId作为key，
#serviceId相同的数据项列表作为值
dataDic[serviceId]=sameServiceidJosnList
else:
logging.debug("seriviceIdList or dataList is null")
#print "seriviceIdList or dataList is null"
#返回字典类型的数据
return dataDic
except Exception,e:
logging.error("Create Data Dictionary Error:"+e)
#print "Create Data Dictionary Error:",e
#打印字典信息
def printDicData(self):
try:
#调用createDataDic创建dataDic字典
dataDic=self.createDataDic()
#对字典中的数据进行循环，获取键值对
for serviceId,dataitem in dataDic.items():
print "{"
print "\t",serviceId,":","["
#由于值是列表，列表中的数据项类型是字典类型
#每一数据项是哈希表
for item in dataitem:
print "\t\t{"
#输出哈希表中的数据
for key,val in item.items():
print "\t\t\t",key,":",val,","
print "\t\t},"
print"\t]"
print "}\n"
print "#"*50
except Exception,e:
logging.error("OutPut Dictionary Data Error:"+e)
#print "OutPut Dictionary Data Error:"+e
def test():
gen =GenExceptData()
gen.printDicData()
if __name__=="__main__":
test()