【基础篇】Python+Go——带大家一起另寻途径提高计算性能

【基础篇】Python+Go——带大家一起另寻途径提高计算性能

点击上方“Python爬虫与数据挖掘”，进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

一腔热血勤珍重，洒去犹能化碧涛。

/1 前言/

    Hello各位小伙伴你们好，我们都知道Python是一个生产力很高的语言，小编本人也非常喜欢Python，经常使用Python帮助小编以最高的效率完成最多的事，但是Python的性能，是我们一直诟病的一个问题，尤其是一个大锁GIL，有时候想想简直像吃了苍蝇一样有点难受。

    当然了，现在我们大部分程序都是（IO）网络密集型程序，Python足以胜任，但是如果说我们已经存在的项目或者想要开发的项目中，存在有计算密集型的程序场景，我们该怎么办呢？

    可能有的小伙伴听说过Python + CC++，用CC++重写Python计算密集的地方，来提高性能。

    当然， 这是一种很好的解决办法，但是我们知道CC++是有一些学习成本，有没有再更好的解决方案呢？

/2 尝试在Python中调用Golang代码/

    后来有幸接触到了Golang，使用了一端时间小编就在想，Python要是能调用Go代码就好了，实在是不想学习CC++，毕竟CC++的指针和自己释放内存还是比较有门槛的，Go就很方便了，垃圾自动回收，省的内存泄漏还有天生高并发等优势。

    经过不断的查阅了一些资料，踩了一些坑，功夫不负有心人，终于找到了合适的办法，在此分享给大家。

    目前最广泛的Python解释器是CPython，Python正好留出来有可以调用CC++代码的模块，Go经过一些方法，也是可以编译成类似Python可调用的CC++的文件。

/3 测试环境/

系统：windows

Python解释器：Python 3.7.6(64位)

Go编译器：Go 1.14(64位)

/4 性能对比/

    为了更好的体现出来优化之后的效果，我们大概对比一下两个语言在计算密集情况下的差距。

    测试：分别计算一个亿（100000000）的累加模拟大量计算。

1）Python代码

import timedef run(n):sum = 0for i in range(n):sum += iprint(sum)if __name__ == '__main__':startTime = time.time()run(100000000)endTime = time.time()print("耗时:", endTime - startTime)

可以看到耗时：10s左右，如下图所示。

2）Go代码

package mainimport ("fmt""time"
)func run(n int) {sum := 0for i := 0; i < n; i++ {sum += i}fmt.Println(sum)
}
func main() {var startTime = time.Now()run(100000000)fmt.Println("耗时:", time.Since(startTime))
}

可以看到耗时：200ms左右，如下图所示。

3）测试结论

    我们可以看到，在计算方面，Python和Go是有很大的差距的，如果计算这一块能放在Go上就好了。

    别着急，马上开始。

/5 Go代码编译为Python可调用的.so文件/

1）Go代码

功能：接收传入的值进行累加，并且返回最终的累加值。

package mainimport ("C" //C必须导入
)//export run
func run(n int) int{/*必须要export 函数名//是注释的意思，相当于Python中的 #我也是第一次见注释还有作用，黑人三问好？？？固定写法*/sum := 0for i := 0; i < n; i++ {sum += i}fmt.Println("我是Go代码,我跑完了,我的结果是:",sum)return sum
}func main() {//main函数中什么都不要写，和包名main要对应
}

2）编译为.so文件供Python调用。

命令如下：

go build -buildmode=c-shared -o 输出的.so文件 go源文件

例如：

go build -buildmode=c-shared -o s1.so s1.go

会生成.h文件和.so文件，.so文件供Python调用，如下图所示：

3）Ptyhon调用so文件

将上述生成的.so文件复制到Python项目的同一级目录。

4）Python代码

依然是计算一个亿，关键部分由Go生成的.so执行。

from ctypes import *
import timeif __name__ == '__main__':startTime = time.time()s = CDLL("s1.so")  # 加载s1.so文件result = s.run(100000000)  # 调用Go生成的.so文件里面的run函数print("result:", result)endTime = time.time()print("耗时:", endTime - startTime)

可以看到耗时：0.11s左右，如下图所示。

5）为什么计算的耗时时间不一致，难道是计算错了？？？

    我们可以看到，虽然速度很快，但是Python在调用Go生成的.so文件之后，拿到的返回值竟然是错的，但是在Go中打印的确实对的，这是为什么呢？？？

    不要慌，问题不大！我们来计算一次稍微小一点的，上个100w的。

额，怎么还是错误。

6）我们再来计算更小一些的数，以10023为例，一个不零不整的数值。

    这次可以看到，结果是对的。但是100w+结果为什么会是错的呢？？？

    我们在上述可以知道，.so文件计算的结果却是正确的，可能是在python接收的时候转换的时候错了，不过别捉急，本章已经有点长了，在下章一定会把这个坑解决的，敬请期待~

/6 小结/

    也许Python+Go提高关键地方性能和Python + CC++相比不是最好的，但是小编认为该方法却是最省心的，毕竟CC++的门槛是比较高的。

    不过话说回来，目前这个性能确实可能也够用了，毕竟Python+Go比Pthon+CC++的效率可能要高上几倍不止。

    用最少的时间撸完最多的代码，加最少的班，人生苦短，我们用Python~~

------------------- End -------------------

往期精彩文章推荐：

• 手把手用Python教你如何发现隐藏wifi
  

• 手把手教你用Python做个可视化的“剪刀石头布”小游戏
  

• 一篇文章教会你用Python爬取淘宝评论数据（写在记事本）
  

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群】

万水千山总是情，点个【在看】行不行

/今日留言主题/

随便说一两句吧~~