利用Numba与Cython结合提升python运行效率详解

numba

numba是一个即时（jit）编译器，它将python代码转换为用于cpu和gpu的本地机器指令。代码可以在导入时、运行时或提前编译。

通过使用jit装饰器，使用numba非常容易：

正如你所知道的，在python中，所有代码块都被编译成字节码：

代码优化

为了优化python代码，numba从提供的函数中提取一个字节码，并在其上运行一组分析器。python字节码包含一系列小而简单的指令，因此不必从python实现中使用源代码就可以从字节码中重构函数的逻辑。转换的过程涉及多个阶段，但numba将python字节码转换为llvm中间表示 (ir)。

请注意，llvm ir是一种低级编程语言，它类似于汇编语法，与python无关。

numba 模式

numba中有两种模式：nopython 和 object。前者不使用python运行时并且在没有python依赖项的情况下生成本机代码。 本机代码是静态类型的，运行非常快。而对象模式使用python对象和python c api，这通常不会带来显著的速度改进。在这两种情况下，python代码都是使用llvm编译的。

什么是llvm？

llvm是一种编译器，它采用代码的特殊中间表示（ir），并将其编译成本机代码。编译过程涉及许多额外的传递，其中编译器优化ir。llvm工具链很好地优化了ir，不仅为numba编译代码，而且优化numba。整个系统大致如下：

python numba 体系结构

numba的优势：

• 易用性
• 自动并行化
• 支持numpy操作和对象
• gpu支持

numba的劣势：

多层的抽象使得调试和优化变得非常困难

在nopython模式下无法与python及其模块进行交互

有限的类支持

cython

取代分析字节码和生成ir，cython使用python语法的超集，它后来转换成c代码。在使用cython时，基本上是用高级python语法编写c代码。

在cython中，通常不必担心python包装器和低级api调用，因为所有交互都会自动扩展到合适的c代码。

与numba不同，所有的cython代码应该在专门文件中与常规python代码分开。cython将这些文件解析并转换成c代码，然后使用提供的c编译器 (例如， gcc)编译它。

python代码已经是有效的cython代码。

但是，类型版本工作得更快。

编写快速cython代码需要理解c和python内部结构。如果你熟悉c，你的cython代码可以运行得和c代码一样快。

cython的优势：

• 通过python api的使用控制
• 与c/c++库和c/c++代码的简单接口
• 并行执行支持
• 支持python类，在c中提供面向对象的特性

cython的劣势：

• 学习曲线
• 需要c和python内部专业技术
• 模块的组织不方便

numba 对 cython

就个人而言，我更喜欢小项目和etl实验用numba。你可以将其插入现有项目中。如果我需要启动一个大项目或为c库编写包装器，我将使用cython，因为它提供更多的控制和更容易调试。

此外，cython是许多库的标准，如pandas、scikit-learn、scipy、spacy、gensim和lxml。

以上就是利用numba与cython结合提升python运行效率详解的详细内容，更多关于提升python运行效率的资料请关注其它相关文章！