进程、线程、协程篇
本节内容
- 操作系统发展史介绍
- 进程、与线程区别
- python gil全局解释器锁
- 线程
- 语法
- join
- 线程锁之lock\rlock\信号量
- 将线程变为守护进程
- event事件
- queue队列
- 生产者消费者模型
- queue队列
- 开发一个线程池
- 进程
- 语法
- 进程间通讯
- 进程池
操作系统发展史
手工操作（无操作系统）
1946年第一台计算机诞生--20世纪50年代中期，还未出现操作系统，计算机工作采用手工操作方式。
手工操作
程序员将对应于程序和数据的已穿孔的纸带（或卡片）装入输入机，然后启动输入机把程序和数据输入计算机内存，接着通过控制台开关启动程序针对数据运行；计算完毕，打印机输出计算结果；用户取走结果并卸下纸带（或卡片）后，才让下一个用户上机。
手工操作方式两个特点：
（1）用户独占全机。不会出现因资源已被其他用户占用而等待的现象，但资源的利用率低。
（2）cpu 等待手工操作。cpu的利用不充分。
20世纪50年代后期，出现人机矛盾：手工操作的慢速度和计算机的高速度之间形成了尖锐矛盾，手工操作方式已严重损害了系统资源的利用率（使资源利用率降为百分之几，甚至更低），不能容忍。唯一的解决办法：只有摆脱人的手工操作，实现作业的自动过渡。这样就出现了成批处理。
批处理系统
批处理系统：加载在计算机上的一个系统软件，在它的控制下，计算机能够自动地、成批地处理一个或多个用户的作业（这作业包括程序、数据和命令）。
联机批处理系统
首先出现的是联机批处理系统，即作业的输入/输出由cpu来处理。
主机与输入机之间增加一个存储设备——磁带，在运行于主机上的监督程序的自动控制下，计算机可自动完成：成批地把输入机上的用户作业读入磁带，依次把磁带上的用户作业读入主机内存并执行并把计算结果向输出机输出。完成了上一批作业后，监督程序又从输入机上输入另一批作业，保存在磁带上，并按上述步骤重复处理。
监督程序不停地处理各个作业，从而实现了作业到作业的自动转接，减少了作业建立时间和手工操作时间，有效克服了人机矛盾，提高了计算机的利用率。
但是，在作业输入和结果输出时，主机的高速cpu仍处于空闲状态，等待慢速的输入/输出设备完成工作： 主机处于“忙等”状态。
脱机批处理系统
为克服与缓解高速主机与慢速外设的矛盾，提高cpu的利用率，又引入了脱机批处理系统，即输入/输出脱离主机控制。
这种方式的显著特征是：增加一台不与主机直接相连而专门用于与输入/输出设备打交道的卫星机。
其功能是：
（1）从输入机上读取用户作业并放到输入磁带上。
（2）从输出磁带上读取执行结果并传给输出机。
这样，主机不是直接与慢速的输入/输出设备打交道，而是与速度相对较快的磁带机发生关系，有效缓解了主机与设备的矛盾。主机与卫星机可并行工作，二者分工明确，可以充分发挥主机的高速计算能力。
脱机批处理系统:20世纪60年代应用十分广泛，它极大缓解了人机矛盾及主机与外设的矛盾。ibm-7090/7094：配备的监督程序就是脱机批处理系统，是现代操作系统的原型。
不足：每次主机内存中仅存放一道作业，每当它运行期间发出输入/输出（i/o）请求后，高速的cpu便处于等待低速的i/o完成状态，致使cpu空闲。
为改善cpu的利用率，又引入了多道程序系统。
多道程序系统
多道程序设计技术
所谓多道程序设计技术，就是指允许多个程序同时进入内存并运行。即同时把多个程序放入内存，并允许它们交替在cpu中运行，它们共享系统中的各种硬、软件资源。当一道程序因i/o请求而暂停运行时，cpu便立即转去运行另一道程序。
单道程序的运行过程：
在a程序计算时，i/o空闲， a程序i/o操作时，cpu空闲（b程序也是同样）；必须a工作完成后，b才能进入内存中开始工作，两者是串行的，全部完成共需时间=t1+t2。
多道程序的运行过程：
将a、b两道程序同时存放在内存中，它们在系统的控制下，可相互穿插、交替地在cpu上运行：当a程序因请求i/o操作而放弃cpu时，b程序就可占用cpu运行，这样 cpu不再空闲，而正进行a i/o操作的i/o设备也不空闲，显然，cpu和i/o设备都处于“忙”状态，大大提高了资源的利用率，从而也提高了系统的效率，a、b全部完成所需时间<<t1+t2。
多道程序设计技术不仅使cpu得到充分利用，同时改善i/o设备和内存的利用率，从而提高了整个系统的资源利用率和系统吞吐量（单位时间内处理作业（程序）的个数），最终提高了整个系统的效率。
单处理机系统中多道程序运行时的特点：
（1）多道：计算机内存中同时存放几道相互独立的程序；
（2）宏观上并行：同时进入系统的几道程序都处于运行过程中，即它们先后开始了各自的运行，但都未运行完毕；
（3）微观上串行：实际上，各道程序轮流地用cpu，并交替运行。
多道程序系统的出现，标志着操作系统渐趋成熟的阶段，先后出现了作业调度管理、处理机管理、存储器管理、外部设备管理、文件系统管理等功能。
多道批处理系统
20世纪60年代中期，在前述的批处理系统中，引入多道程序设计技术后形成多道批处理系统（简称：批处理系统）。
它有两个特点：
（1）多道：系统内可同时容纳多个作业。这些作业放在外存中，组成一个后备队列，系统按一定的调度原则每次从后备作业队列中选取一个或多个作业进入内存运行，运行作业结束、退出运行和后备作业进入运行均由系统自动实现，从而在系统中形成一个自动转接的、连续的作业流。
（2）成批：在系统运行过程中，不允许用户与其作业发生交互作用，即：作业一旦进入系统，用户就不能直接干预其作业的运行。
批处理系统的追求目标：提高系统资源利用率和系统吞吐量，以及作业流程的自动化。
批处理系统的一个重要缺点：不提供人机交互能力，给用户使用计算机带来不便。
虽然用户独占全机资源，并且直接控制程序的运行，可以随时了解程序运行情况。但这种工作方式因独占全机造成资源效率极低。
一种新的追求目标：既能保证计算机效率，又能方便用户使用计算机。 20世纪60年代中期，计算机技术和软件技术的发展使这种追求成为可能。
分时系统
由于cpu速度不断提高和采用分时技术，一台计算机可同时连接多个用户终端，而每个用户可在自己的终端上联机使用计算机，好象自己独占机器一样。
分时技术：把处理机的运行时间分成很短的时间片，按时间片轮流把处理机分配给各联机作业使用。
若某个作业在分配给它的时间片内不能完成其计算，则该作业暂时中断，把处理机让给另一作业使用，等待下一轮时再继续其运行。由于计算机速度很快，作业运行轮转得很快，给每个用户的印象是，好象他独占了一台计算机。而每个用户可以通过自己的终端向系统发出各种操作控制命令，在充分的人机交互情况下，完成作业的运行。
具有上述特征的计算机系统称为分时系统，它允许多个用户同时联机使用计算机。
特点：
（1）多路性。若干个用户同时使用一台计算机。微观上看是各用户轮流使用计算机；宏观上看是各用户并行工作。
（2）交互性。用户可根据系统对请求的响应结果，进一步向系统提出新的请求。这种能使用户与系统进行人机对话的工作方式，明显地有别于批处理系统，因而，分时系统又被称为交互式系统。
（3）独立性。用户之间可以相互独立操作，互不干扰。系统保证各用户程序运行的完整性，不会发生相互混淆或破坏现象。
（4）及时性。系统可对用户的输入及时作出响应。分时系统性能的主要指标之一是响应时间，它是指：从终端发出命令到系统予以应答所需的时间。
分时系统的主要目标：对用户响应的及时性，即不至于用户等待每一个命令的处理时间过长。
分时系统可以同时接纳数十个甚至上百个用户，由于内存空间有限，往往采用对换（又称交换）方式的存储方法。即将未“轮到”的作业放入磁盘，一旦“轮到”，再将其调入内存；而时间片用完后，又将作业存回磁盘（俗称“滚进”、“滚出“法），使同一存储区域轮流为多个用户服务。
多用户分时系统是当今计算机操作系统中最普遍使用的一类操作系统。
实时系统
虽然多道批处理系统和分时系统能获得较令人满意的资源利用率和系统响应时间，但却不能满足实时控制与实时信息处理两个应用领域的需求。于是就产生了实时系统，即系统能够及时响应随机发生的外部事件，并在严格的时间范围内完成对该事件的处理。
实时系统在一个特定的应用中常作为一种控制设备来使用。
实时系统可分成两类：
（1）实时控制系统。当用于飞机飞行、导弹发射等的自动控制时，要求计算机能尽快处理测量系统测得的数据，及时地对飞机或导弹进行控制，或将有关信息通过显示终端提供给决策人员。当用于轧钢、石化等工业生产过程控制时，也要求计算机能及时处理由各类传感器送来的数据，然后控制相应的执行机构。
（2）实时信息处理系统。当用于预定飞机票、查询有关航班、航线、票价等事宜时，或当用于银行系统、情报检索系统时，都要求计算机能对终端设备发来的服务请求及时予以正确的回答。此类对响应及时性的要求稍弱于第一类。
实时操作系统的主要特点：
（1）及时响应。每一个信息接收、分析处理和发送的过程必须在严格的时间限制内完成。
（2）高可靠性。需采取冗余措施，双机系统前后台工作，也包括必要的保密措施等。
操作系统发展图谱
进程与线程
什么是进程(process)？
程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的程序就称之为进程。程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。
在多道编程中，我们允许多个程序同时加载到内存中，在操作系统的调度下，可以实现并发地执行。这是这样的设计，大大提高了cpu的利用率。进程的出现让每个用户感觉到自己独享cpu，因此，进程就是为了在cpu上实现多道编程而提出的。
有了进程为什么还要线程？
进程有很多优点，它提供了多道编程，让我们感觉我们每个人都拥有自己的cpu和其他资源，可以提高计算机的利用率。很多人就不理解了，既然进程这么优秀，为什么还要线程呢？其实，仔细观察就会发现进程还是有很多缺陷的，主要体现在两点上：
-
进程只能在一个时间干一件事，如果想同时干两件事或多件事，进程就无能为力了。
-
进程在执行的过程中如果阻塞，例如等待输入，整个进程就会挂起，即使进程中有些工作不依赖于输入的数据，也将无法执行。
例如，我们在使用qq聊天， qq做为一个独立进程如果同一时间只能干一件事，那他如何实现在同一时刻 即能监听键盘输入、又能监听其它人给你发的消息、同时还能把别人发的消息显示在屏幕上呢？你会说，操作系统不是有分时么？但我的亲，分时是指在不同进程间的分时呀， 即操作系统处理一会你的qq任务，又切换到word文档任务上了，每个cpu时间片分给你的qq程序时，你的qq还是只能同时干一件事呀。
再直白一点， 一个操作系统就像是一个工厂，工厂里面有很多个生产车间，不同的车间生产不同的产品，每个车间就相当于一个进程，且你的工厂又穷，供电不足，同一时间只能给一个车间供电，为了能让所有车间都能同时生产，你的工厂的电工只能给不同的车间分时供电，但是轮到你的qq车间时，发现只有一个干活的工人，结果生产效率极低，为了解决这个问题，应该怎么办呢？。。。。没错，你肯定想到了，就是多加几个工人，让几个人工人并行工作，这每个工人，就是线程！
什么是线程(thread)？
线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务
进程与线程的区别？
python gil(global interpreter lock)
in cpython, the global interpreter lock, or gil, is a mutex that prevents multiple native threads from executing python bytecodes at once. this lock is necessary mainly because cpython’s memory management is not thread-safe. (however, since the gil exists, other features have grown to depend on the guarantees that it enforces.)
上面的核心意思就是，无论你启多少个线程，你有多少个cpu, python在执行的时候会淡定的在同一时刻只允许一个线程运行，擦。。。，那这还叫什么多线程呀？莫如此早的下结结论，听我现场讲。
首先需要明确的一点是gil并不是python的特性，它是在实现python解析器(cpython)时所引入的一个概念。就好比c++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如gcc，intel c++，visual c++等。python也一样，同样一段代码可以通过cpython，pypy，psyco等不同的python执行环境来执行。像其中的jpython就没有gil。然而因为cpython是大部分环境下默认的python执行环境。所以在很多人的概念里cpython就是python，也就想当然的把gil归结为python语言的缺陷。所以这里要先明确一点：gil并不是python的特性，python完全可以不依赖于gil
这篇文章透彻的剖析了gil对python多线程的影响，强烈推荐看一下：http://www.dabeaz.com/python/understandinggil.pdf
python threading模块
线程有2种调用方式，如下：
直接调用
import threading
import time
def sayhi(num): #定义每个线程要运行的函数
print("running on number:%s" %num)
time.sleep(3)
if __name__ == '__main__':
t1 = threading.thread(target=sayhi,args=(1,)) #生成一个线程实例
t2 = threading.thread(target=sayhi,args=(2,)) #生成另一个线程实例
t1.start() #启动线程
t2.start() #启动另一个线程
print(t1.getname()) #获取线程名
print(t2.getname())
import threading
import time
class mythread(threading.thread):
def __init__(self,num):
threading.thread.__init__(self)
self.num = num
def run(self):#定义每个线程要运行的函数
print("running on number:%s" %self.num)
time.sleep(3)
if __name__ == '__main__':
t1 = mythread(1)
t2 = mythread(2)
t1.start()
t2.start()
#_*_coding:utf-8_*_
__author__ = 'alex li'
import time
import threading
def run(n):
print('[%s]------running----\n' % n)
time.sleep(2)
print('--done--')
def main():
for i in range(5):
t = threading.thread(target=run,args=[i,])
t.start()
t.join(1)
print('starting thread', t.getname())
m = threading.thread(target=main,args=[])
m.setdaemon(true) #将main线程设置为daemon线程,它做为程序主线程的守护线程,当主线程退出时,m线程也会退出,由m启动的其它子线程会同时退出,不管是否执行完任务
m.start()m.join(timeout=2)
print("---main thread done----")
线程锁(互斥锁mutex)
一个进程下可以启动多个线程，多个线程共享父进程的内存空间，也就意味着每个线程可以访问同一份数据，此时，如果2个线程同时要修改同一份数据，会出现什么状况？
import time
import threading
def addnum():
global num #在每个线程中都获取这个全局变量
print('--get num:',num )
time.sleep(1)
num -=1 #对此公共变量进行-1操作
num = 100 #设定一个共享变量
thread_list = []
for i in range(100):
t = threading.thread(target=addnum)
t.start()
thread_list.append(t)
for t in thread_list: #等待所有线程执行完毕
t.join()
print('final num:', num )
正常来讲，这个num结果应该是0， 但在python 2.7上多运行几次，会发现，最后打印出来的num结果不总是0，为什么每次运行的结果不一样呢？ 哈，很简单，假设你有a,b两个线程，此时都 要对num 进行减1操作， 由于2个线程是并发同时运行的，所以2个线程很有可能同时拿走了num=100这个初始变量交给cpu去运算，当a线程去处完的结果是99，但此时b线程运算完的结果也是99，两个线程同时cpu运算的结果再赋值给num变量后，结果就都是99。那怎么办呢？ 很简单，每个线程在要修改公共数据时，为了避免自己在还没改完的时候别人也来修改此数据，可以给这个数据加一把锁， 这样其它线程想修改此数据时就必须等待你修改完毕并把锁释放掉后才能再访问此数据。
*注：不要在3.x上运行，不知为什么，3.x上的结果总是正确的，可能是自动加了锁
加锁版本
import time
import threading
def addnum():
global num #在每个线程中都获取这个全局变量
print('--get num:',num )
time.sleep(1)
lock.acquire() #修改数据前加锁
num -=1 #对此公共变量进行-1操作
lock.release() #修改后释放
num = 100 #设定一个共享变量
thread_list = []
lock = threading.lock() #生成全局锁
for i in range(100):
t = threading.thread(target=addnum)
t.start()
thread_list.append(t)
for t in thread_list: #等待所有线程执行完毕
t.join()
print('final num:', num )
gil vs lock
机智的同学可能会问到这个问题，就是既然你之前说过了，python已经有一个gil来保证同一时间只能有一个线程来执行了，为什么这里还需要lock? 注意啦，这里的lock是用户级的lock,跟那个gil没关系 ，具体我们通过下图来看一下+配合我现场讲给大家，就明白了。
那你又问了， 既然用户程序已经自己有锁了，那为什么c python还需要gil呢？加入gil主要的原因是为了降低程序的开发的复杂度，比如现在的你写python不需要关心内存回收的问题，因为python解释器帮你自动定期进行内存回收，你可以理解为python解释器里有一个独立的线程，每过一段时间它起wake up做一次全局轮询看看哪些内存数据是可以被清空的，此时你自己的程序 里的线程和 py解释器自己的线程是并发运行的，假设你的线程删除了一个变量，py解释器的垃圾回收线程在清空这个变量的过程中的clearing时刻，可能一个其它线程正好又重新给这个还没来及得清空的内存空间赋值了，结果就有可能新赋值的数据被删除了，为了解决类似的问题，python解释器简单粗暴的加了锁，即当一个线程运行时，其它人都不能动，这样就解决了上述的问题， 这可以说是python早期版本的遗留问题。
rlock（递归锁）
说白了就是在一个大锁中还要再包含子锁
import threading,time
def run1():
print("grab the first part data")
lock.acquire()
global num
num +=1
lock.release()
return num
def run2():
print("grab the second part data")
lock.acquire()
global num2
num2+=1
lock.release()
return num2
def run3():
lock.acquire()
res = run1()
print('--------between run1 and run2-----')
res2 = run2()
lock.release()
print(res,res2)
if __name__ == '__main__':
num,num2 = 0,0
lock = threading.rlock()
for i in range(10):
t = threading.thread(target=run3)
t.start()
while threading.active_count() != 1:
print(threading.active_count())
else:
print('----all threads done---')
print(num,num2)
semaphore(信号量)
互斥锁 同时只允许一个线程更改数据，而semaphore是同时允许一定数量的线程更改数据 ，比如厕所有3个坑，那最多只允许3个人上厕所，后面的人只能等里面有人出来了才能再进去。
import threading,time
def run(n):
semaphore.acquire()
time.sleep(1)
print("run the thread: %s\n" %n)
semaphore.release()
if __name__ == '__main__':
num= 0
semaphore = threading.boundedsemaphore(5) #最多允许5个线程同时运行
for i in range(20):
t = threading.thread(target=run,args=(i,))
t.start()
while threading.active_count() != 1:
pass #print threading.active_count()
else:
print('----all threads done---')
print(num)
timer
def hello():
print("hello, world")
t = timer(30.0, hello)
t.start() # after 30 seconds, "hello, world" will be printed
import threading,time
import random
def light():
if not event.isset():
event.set() #wait就不阻塞 #绿灯状态
count = 0
while true:
if count < 10:
print('\033[42;1m--green light on---\033[0m')
elif count <13:
print('\033[43;1m--yellow light on---\033[0m')
elif count <20:
if event.isset():
event.clear()
print('\033[41;1m--red light on---\033[0m')
else:
count = 0
event.set() #打开绿灯
time.sleep(1)
count +=1
def car(n):
while 1:
time.sleep(random.randrange(10))
if event.isset(): #绿灯
print("car [%s] is running.." % n)
else:
print("car [%s] is waiting for the red light.." %n)
if __name__ == '__main__':
event = threading.event()
light = threading.thread(target=light)
light.start()
for i in range(3):
t = threading.thread(target=car,args=(i,))
t.start()
#_*_coding:utf-8_*_
__author__ = 'alex li'
import threading
import time
import random
def door():
door_open_time_counter = 0
while true:
if door_swiping_event.is_set():
print("\033[32;1mdoor opening....\033[0m")
door_open_time_counter +=1
else:
print("\033[31;1mdoor closed...., swipe to open.\033[0m")
door_open_time_counter = 0 #清空计时器
door_swiping_event.wait()
if door_open_time_counter > 3:#门开了已经3s了,该关了
door_swiping_event.clear()
time.sleep(0.5)
def staff(n):
print("staff [%s] is comming..." % n )
while true:
if door_swiping_event.is_set():
print("\033[34;1mdoor is opened, passing.....\033[0m")
break
else:
print("staff [%s] sees door got closed, swipping the card....." % n)
print(door_swiping_event.set())
door_swiping_event.set()
print("after set ",door_swiping_event.set())
time.sleep(0.5)
door_swiping_event = threading.event() #设置事件
door_thread = threading.thread(target=door)
door_thread.start()
for i in range(5):
p = threading.thread(target=staff,args=(i,))
time.sleep(random.randrange(3))
p.start()
相关文章:
-
-
观察者模式和发布订阅模式有什么区别？大多数的回答都是：Publishers + Subscribers = Observer Pattern，24种... [阅读全文] -
学了100多天java知道了要抓住本质、最底层学习，比如堆和栈啊，类是怎么加载的啊，再深一点的话就要看编译原理了，还是羡慕计算机专业的。 静态成员不... [阅读全文]
-
洗礼灵魂，修炼python（55）--爬虫篇—知识补充—RFC 2616 http状态码
标题标签h1~h6 顾名思义，这些就是把字体设置为大字体的，就如博客园的这个编辑器里的格式： 不信的话我们自己设置看看：好的，从本篇文章... [阅读全文] -
-
一.安装工具下载： 系统环境： Operating System: Windows 10 Enterprise 64-bit (10.0, Buil... [阅读全文]
-
sublime text 3启动报错"swallow_startup_errors"解决方法
启动sublime text 3报错： anaconda插件连接jsonserver服务出现错误 解决方法： 首选项 -- package sett... [阅读全文] -
1.什么是web前端 说这个之前，我们先了解web前端工程师是干什么的，百度百科的解释： Web前端开发工程师，主要职责是利用(X)HTML/CS... [阅读全文]
-
版权声明：本文内容由互联网用户贡献，该文观点仅代表作者本人。本站仅提供信息存储服务，不拥有所有权，不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 2386932994@qq.com 举报，一经查实将立刻删除。
上一篇： jquery Banner轮播选项卡
下一篇： SEOer职业发展规划 该如何转型
发表评论