数据挖掘项目笔记——使用joblib中的Parallel并行运行程序

数据挖掘项目笔记——使用joblib中的Parallel并行运行程序

joblib是一个可以使程序并行运行的包，并行运行程序可以大大提高运行效率。

下面进行简单测试：

import time
from math import sqrt

def test_func_1(val):
    time.sleep(1)
    return sqrt(val**2)

start_time = time.time()
for i in range(10):
    test_func_1(i)
end_time = time.time()
time_cost = end_time - start_time

消耗时间10秒

下面使用parallel，可将计算分配到两个CPU上:

from joblib import Parallel,delayed

start_time = time.time()
Parallel(n_jobs=2)(delayed(test_func_1)(i) for i in range(10))
end_time = time.time()
time_cost = end_time - start_time
time_cost

消耗时间5秒

上面仅仅说明了器基本用法，这篇博客中说明得很详细了，请参考