欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

简洁优雅的Python教你如何在工作中“偷懒”

程序员文章站 2022-03-21 17:23:38
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者: A字头 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4 ......

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者: a字头

ps:如有需要python学习资料的小伙伴可以加点击下方链接自行获取

有些朋友在工作中会有这样的困惑:明明我从早忙到晚,为什么得到的评价还不高?

要知道,企业对一个员工的评价是出于“产出”而非“付出”。所以,如果把大量时间花在机械重复的工作上,不但工作效率不高,对个人发展来说也无甚帮助。

而这些工作,如果对于会点编程的人来说,往往通过几行代码就可以快速搞定了。

于是,我去了解了一下身边不同岗位(hr、产品、运营、市场、数据分析师等)每天需要面对的重复性劳动(肯定会有不全,欢迎补充~),总结了一些在工作中非常常见的例子,并且将源码整理好供参考。希望这些程序可以让你的工作更高效!(升职加薪了别忘了回来发红包哦~)

那么如何将这些统统实现呢?

我将这些分为以下几类,大家可以自行评估,各取所需:

简洁优雅的Python教你如何在工作中“偷懒”

系统录入自动化

由于你经常需要不断的将一些信息录入系统,每一次录入的过程中你可能需要不断的点击一些按钮,面对这种情况,完全可以写一个自动脚本,每次代替你来执行这些点击的行为。 简洁优雅的Python教你如何在工作中“偷懒”

这里写了一个自动登录邮箱的脚本,可以实现文本输入和网页点击:

 1 import time
 2 from splinter import browser
 3 ​
 4 def splinter(url):
 5     browser = browser()
 6     #login 126 email websize
 7     browser.visit(url)
 8     #wait web element loading
 9     time.sleep(5)
10     #fill in account and password
11     browser.find_by_id('idinput').fill('xxxxxx')
12     browser.find_by_id('pwdinput').fill('xxxxx')
13     #click the button of login
14     browser.find_by_id('loginbtn').click()
15     time.sleep(8)
16     #close the window of brower
17     browser.quit()
18 ​
19 if __name__ == '__main__':
20     websize = 'https://mail.163.com/'
21     splinter(websize)

 

同理可以写一个简单的游戏挂机脚本,游戏挂机脚本,无非就是自动移动鼠标,自动点击,进行重复操作,所以,第一步就是如何控制鼠标。

 1 import win32api
 2 import time
 3 def move_click(x, y, t=0):  # 移动鼠标并点击左键
 4     win32api.setcursorpos((x, y))  # 设置鼠标位置(x, y)
 5     win32api.mouse_event(win32con.mouseeventf_leftdown |
 6                          win32con.mouseeventf_leftup, x, y, 0, 0)  # 点击鼠标左键
 7     if t == 0:
 8         time.sleep(random.random()*2+1)  # sleep一下
 9     else:
10         time.sleep(t)
11     return 0
12 # 测试
13 move_click(30, 30)
14 ​
15 def resolution():  # 获取屏幕分辨率
16     return win32api.getsystemmetrics(0), win32api.getsystemmetrics(1)

 

值得注意的是,一定要在管理员权限下的cmd中运行,否则点击无效。

这个时候,你已经可以写个循环,不停地点击屏幕上不同的几个点,最基础的挂机脚本就实现了。

excel自动化处理

excel合并

在实际应用中可能会有不同月份的数据或者不同周的报告等等的excel数据,都是单个独立的文件,如果想要整体使用的话就需要合并一下,那么如何利用python把指定目录下的所有excel数据合并成一个文件呢? 简洁优雅的Python教你如何在工作中“偷懒”

思路:利用python xlrd包读取excle文件,然后将文件内容存入一个列表中,再利用xlsxwriter将内容写入到一个新的excel文件中。

 1 # -*- coding: utf-8 -*-
 2 ​
 3 #将多个excel文件合并成一个
 4 import xlrd
 5 import xlsxwriter
 6 ​
 7 #获取excel中所有的sheet表
 8 def getsheet(fh):
 9     return fh.sheets()
10 ​
11 #获取sheet表的行数
12 def getnrows(fh,sheet):
13     table=fh.sheets()[sheet]
14     return table.nrows
15 ​
16 #读取文件内容并返回行内容
17 def getfilect(file,shnum):
18     fh=open_xls(file)
19     table=fh.sheets()[shnum]
20     num=table.nrows
21     for row in range(num):
22         rdata=table.row_values(row)
23         datavalue.append(rdata)
24     return datavalue

或者直接用concat+一个循环来实现:

1 for i in var_list:
2     df_0 = data[['var_1','var_2','var_3','var_4',i]][data[i]=='信息']
3     df_0['month'] = date_replace(i)
4     df_0 = df_0[['var_1','var_2','var_3','var_4','var_5']]
5     li.append(df_0)
6 ​
7 writer = pd.excelwriter(r'c:\users\mapping.xlsx')
8 df = pd.concat(li)
9 df.to_excel(writer,'sheet1',index=false,header = none)

excel中添加数据图表

整理好excel文件后下一步需要做的是处理文件里的数据,根据数据来生成一些自己需要的图表:

 1 import xlsxwriter
 2 ​
 3 #设置一个例子
 4 data = [20, 45, 26, 18, 45]
 5 ​
 6 #创建表格
 7 workbook = xlsxwriter.workbook("temp.xlsx")
 8 worksheet = workbook.add_worksheet("data")
 9 ​
10 #添加数据
11 worksheet.write_column('a1', data)
12 ​
13 #创建图表
14 chart = workbook.add_chart({'type': 'line'})
15 ​
16 #图表添加数据
17 chart.add_series({
18         'values': '=data!$a1:$a6',
19         'name': '图表名称',
20         'marker': {
21                 'type': 'circle',
22                 'size': 8,
23                 'border': {'color': 'black'},
24                 'fill': {'color': 'red'}
25                 } ,
26         'data_labels': {'values': true},
27         'trendline': {
28                 'type': 'polynomial',
29                 'order': 2,
30                 'name': '趋势线',
31                 'forward': 0.5,
32                 'backward': 0.5,
33                 'display_equation':true,
34                 'line': {'color': 'red', 'width':1, 'dash_type': 'long_dash'}
35                 }
36 })
37 ​
38 worksheet.insert_chart('c1', chart)
39 workbook.close()

实现效果:

简洁优雅的Python教你如何在工作中“偷懒”

这部分图文来自网络,侵删。

word关键信息提取

假设你收到1万份简历,你想先根据学校做一些筛选,这时候利用python将大量的简历进行信息汇总,只提取关键信息用excel查看起来更加方便。

简洁优雅的Python教你如何在工作中“偷懒”

docx文件自己本身是压缩文件,打开压缩包之后竟然发现里面有个专门存储word里面文本的文件。 那么步骤就变得简单了:

  1. 打开docx的压缩包

  2. 获取word里面的正文信息

  3. 利用正则表达式匹配出我们想要的信息

  4. 将信息存储到txt中(txt可以用excel打开)

  5. 批量调用上述过程,完成一万份简历的提取工作

利用正则匹配获取关键信息:

 1 import re
 2 def get_field_value(text):
 3     value_list = []
 4     m = re.findall(r"姓 名(.*?)性    别", table)
 5     value_list.append(m)
 6     m = re.findall(r"性    别(.*?)学    历", table)
 7     value_list.append(m)
 8     m = re.findall(r"民 族(.*?)健康状况", table)
 9     value_list.append(m)    
10     '''
11     此处省略其他字段匹配
12     '''
13     return value_list

自动化运营监控

在平时的工作中,一定会有对运营情况的监控,假设你管理一家店铺,那么一些关键指标肯定是你需要每天查看到的,比如店铺访问数,商品浏览数,下单数等等,这个时候不用每天重复地去统计这些数据,这需要写一个自动化程序,每天将数据保存在固定的文件夹下就可以实现报表的实时监控。

简洁优雅的Python教你如何在工作中“偷懒”

如果你的数据来源是线下文件:

  • 利用python操作线下文件将其载入数据库

  • 通过数据库对数据进行处理

  • 利用python输出结果

 1 from impala.dbapi import connect
 2 from impala.util import as_pandas
 3 import datetime
 4 ​
 5 conn = connect(host='host',port=21050,auth_mechanism='plain',user='user',password='password')
 6 #host:数据库域名
 7 #user:数据库用户名
 8 #password:数据库密码
 9 df_data = pd.read_excel('temp.xlsx')
10 ​
11 rows =[]
12 for index, row in df_data.iterrows():
13     rows.append('('+'"'+str(row['case_id']).replace('nan','null')+'"'+','+'"'+str(row['birth_date'])+'"'+')'+',')
14     a= '''
15     insert into table
16     (case_id, birth_date)
17     values '''
18 for i in rows:
19     a += i
20 a = a[:-1]
21 ​
22 cursor1 = conn.cursor()
23 cursor1.execute(a)
24 cursor1.close()
25 conn.close()
26 print('成功导入数据至数据库...')
27 del a
28 del rows 

如果你的数据来源是线上文件(存在数据库)

  • 直接利用python链接数据库进行一些列的操作

  • 导出你所需要的结果

1 import sql   #sql是封装的sql文件
2 sql_end = sql.sql_end
3 cursor1 = conn.cursor()
4 for i in sql_end.split(';'):
5     print(i)
6     cursor1.execute(i)
7 cursor1.close()
8 conn.close()
9 print('程序运行结束,请执行下一步。')

自动发送邮件

使用python实现自动化邮件发送,可以让你摆脱繁琐的重复性业务,节省非常多的时间。

数据分析师经常会遇到一些取数需求,有些数据需求是每天都需要的,有些数据需求是每周一次的。对于这些周期性的数据需求,每次都重复性地手动导出这些数据,并回传给需求方,是很繁琐且浪费时间的。所以完全可以设置自动邮件来解决。

"talk is cheap, show you the code" 常见的邮件肯定有三部分: 1、正文 2、图片 3、附件 ok 导入我们需要用到的包

1 from email.mime.text import mimetext
2 from email.mime.multipart import mimemultipart
3 from email.mime.image import mimeimage
4 import smtplib
5 
6 msg = mimemultipart()

在邮件中插入正文:

1 ##在邮件中插入文本信息    
2 df_text='''<html>
3                   <body>
4                   <p>   hi all ,</p>
5                   <p>   这是一个测试邮件,详情请参考附件 </p>
6                   <p>   情况如下图: </p>
7                  </body></html>'''
8 msgtext = mimetext(df_text, 'html', 'utf-8')
9 msg.attach(msgtext)

如果你需要插入图片,利用同样的方法,在邮件中插入图片:

1 ##在邮件中插入图片信息
2 image = open('temp.jpg','rb')
3 msgimage = mimeimage(image.read())
4 msg.attach(msgimage)

在邮件中插入附件:

1 ##在邮件添加附件
2 msgfile = mimetext(open('temp.xlsx', 'rb').read(), 'base64', 'utf-8')
3 msgfile["content-disposition"] = 'attachment; filename="temp.xlsx"'
4 msg.attach(msgfile)

剩下的就是设置一些邮件参数来发送邮件:

1 #设置邮件信息常量
2 email_host= ''  # 服务器地址
3 sender = '' # 发件人
4 password ='' # 密码,如果是授权码就填授权码
5 receiver = '' # 收件人

发送邮件:

 1 try:
 2     smtp = smtplib.smtp(host=email_host)
 3     smtp.connect(email_host)
 4     smtp.starttls()
 5     smtp.login(sender, password)
 6     smtp.sendmail(sender, receiver.split(',') , msg.as_string())
 7     smtp.quit()
 8     print('发送成功')
 9 except exception: 
10      print('发送失败')

 

然后将你的任务设置定时执行就可以轻松实现啦

实现效果:

简洁优雅的Python教你如何在工作中“偷懒”

平时的工作中,真的有太多可以去自动化的任务,由于经验受限这里不能一一举例说明,只能尽量分享一些我遇到过或者听说过的例子。

希望大家都越来越高效,边偷懒边完成工作~