Python数据预处理：使用Dask和Numba并行化加速

如果你善于使用Pandas变换数据、创建特征以及清洗数据等，那么你就能够轻松地使用Dask和Numba并行加速你的工作。单纯从速度上比较，Dask完胜Python，而Numba打败Dask，那么Numba+Dask基本上算是无敌的存在。将数值计算分成Numba sub-function和使用Dask map_partition+apply，而不是使用Pandas。对于100万行数据，使用Pandas方法和混合数值计算创建新特征的速度比使用Numba+Dask方法的速度要慢许多倍。

Python：60.9x | Dask：8.4x | Numba：5.8x |Numba+Dask：1x

作为旧金山大学的一名数据科学硕士，会经常跟数据打交道。使用Apply函数是我用来创建新特征或清理数据的众多技巧之一。现在，我只是一名数据科学家，而不是计