本文将使用场景化为案例,将单线程,多线程,多进程,异步协程的速度进行对比
对比速度时, >表示 速度快于 >>表示速度远快于 =表示速度差不多 >>>>表示速度远远快于
电脑硬软件配置:
CPU 6600HS, 6核12线程
GPU 16G,打开电脑后,可用内存不到7G
python版本 3.8.5
--------------------------
案例一:
定义一个函数,计算一亿次,循环该函数5次,也就是共计算5亿次
CPU表示我不是人,但你做的不是人事.
def fnc():n = 0[n * i for i in range(100000000)]k = []for j in range(5):p = Process(target=fnc)k.append(p)p.start()for p in k:p.join()fnc使用列表推导式单线程耗时 22.95119619369507多线程from threading import Thread 23.681288480758667多进程from multiprocessing import Process 6.752433776855469线程池from concurrent.futures import ThreadPoolExecutor 21.067291736602783进程池from concurrent.futures import ProcessPoolExecutor 6.5641186237335205多进程,多线程很吃GPU, 5个进程或进程GPU使用率从45%--80%甚至达到90%异步协程 21.282711505889893GPU使用率最高在50%fnc函数不使用列表推导式,只用for 循环单线程耗时 15.85204529762268多线程from threading import Thread 16.62131118774414多进程from concurrent.futures import ProcessPoolExecutor 4.7446558475494385线程池from concurrent.futures import ThreadPoolExecutor 15.704242706298828进程池from concurrent.futures import ProcessPoolExecutor 4.553922414779663异步协程import asyncio 17.373657703399658GPU使用率一直在45%
1>fnc函数中,用列表推导式 和 只用for循环:时间差和占用的内存都体现在:创建了5个列表,该列表有1亿个元素所以,如果在非常庞大的运行程序中,必须要格外注意程序运行占用的空间2>池的存在是优于不建池的存在的,原因是池减少了线程反复创建的开销3>协程异步消耗的资源比多线程,多进程要少很多4>计算型任务常规的多进程完胜,而建立进程池又完胜常规的多进程
速度: 进程池>多进程>>多线程>单线程>异步协程
以下案例中,将不在展示多线程,多进程,统一替换成线程池,进程池
--------------------------
案例二:
定义一个函数,每次程序停止运行2秒,模拟函数运行消耗的时间,无关IO密集或者计算密集
async def fnc():async with sem:await asyncio.sleep(2)async def main():tasks = [asyncio.ensure_future(fnc()) for _ in range(500)]await asyncio.gather(*tasks)if __name__ == '__main__':t1 = time.time()sem = asyncio.Semaphore(500)asyncio.get_event_loop().run_until_complete(main())print(time.time()-t1)单线程耗时 2 * 500 = 1000 秒线程池 50个 20.106093168258667进程池 50个 21.50374722480774异步协程,设置最大并发量为500, 耗时2.0156943798065186
异步>>线程池=进程池>>单线程
--------------------------
案例三:
定义一个函数,计算一千万次,循环该函数50次
async def fnc():for _ in range(10000000):_ = 0async def main():tasks = [asyncio.ensure_future(fnc()) for _ in range(50)]await asyncio.gather(*tasks)if __name__ == '__main__':t1 = time.time()asyncio.get_event_loop().run_until_complete(main())print(time.time()-t1)单线程 8.602180480957031线程池40 0.003867626190185547进程池13 0.4430716037750244异步协程 8.703556776046753
速度: 线程池>>进程池>>>>单线程>异步协程
--------------------------
案例四:
定义函数fnc,做一次计算,小循环该函数5万次,大循环5次
def fnc(i):n = 0 * iif __name__ == '__main__':print(f"本机是{os.cpu_count()}线程CPU")t1 = time.time()for _ in range(5):with ThreadPoolExecutor(10) as t:for i in range(50000):t.submit(fnc, i)print(time.time()-t1)单线程耗时 0.02609729766845703线程池 10个 耗时4.4730799198150635异步协程,并限制最大并发量为10 ,耗时2.9664089679718018进程池 10个,并且把range(50000): 修改为range(500): 耗时2.4150047302246094
速度: 单线程>>>> >>>>异步协程>线程池>>>> >>>>进程池
--------------------------
>>>线程一般会经历新建（New）、就绪（Runnable）、运行（Running）、阻塞（Blocked）、死亡（Dead）5 种状态，当线程被创建并启动后，并不会直接进入运行状态，也不会一直处于运行状态，CPU 可能会在多个线程之间切换，线程的状态也会在就绪和运行之间转换。
>>>计算密集型任务,特点是进行大量的计算,消耗CPU资源.比如:计算圆周率,对视频进行解码....
>>>I/O密集型任务: I代表input输入,O代表inout,他们的特点是CPU消耗很少,因为CPU和内存的速度远远大于 I/O操作的速度,所以任务的大部分时间都在等待IO操作完成,
故以上四个案例可以视为:
案例一代表纯CPU计算------进程池完胜
案例二代表CPU耗时=IO耗时------协程异步完胜
案例三代表少量CPU计算, 大量IO操作(相对于CPU计算的时间是大量的)------线程池完胜
案例四代表极少量CPU计算------单线程完胜
--------------------------
进程程池进程数量设置: CPU核数 + 1
线程池线程数量设置: CPU核数 * [ 1 + (IO耗时 / CPU耗时) ]
异步协程: 本质是程序里面的函数,线程的上下文(CPU计算和IO操作)切换由我们自己控制,通常资源消耗最少,所以有微线程之称.
