静态代码扫描（六）——火线针对资源关闭问题的横向对比报告

静态代码扫描（六）——火线针对资源关闭问题的横向对比报告

在上一篇文章中，我们列举了一些资源关闭需要考虑的特殊场景，并且预告了会在这篇放出火线和其他开源产品横向的扫描结果对比报告，包括Sonar、Infer、PMD和Findbugs（由于Lint没有针对资源关闭的规则，未加入对比）。

一. 对比结果

我们将资源关闭场景进行了细化和拆分，以保证代码扫描过程中既能检测出已有的问题，同时也不会对正确的写法产生误报。目前共计30个场景。
废话不多说，先上结果：

二. 结果分析

1. PMD
   对比报告中使用的PMD版本为目前最新版本PMD5.6.1。
   PMD是业界老牌的开源静态代码扫描产品，于2002年发布了第一个版本，至今已有15年的积淀。它的优点是支持多种语言的静态扫描，同时由于其将源代码转化为抽象语法树进行分析的引擎特点，扫描速度快。但是也是由于引擎的特点，限制了它应对更加深入的检查需求，目前还难以满足。
   所以大家可以看到上面的结果中，PMD针对很多问题都无法成功检出。

2. Findbugs
   对比报告中使用的Findbugs版本为目前最新版本Findbugs3.0.1。
   Findbugs也是业界老牌的开源静态代码扫描产品，同时也应该是知名度较高的一款产品。我从官网上只能追踪到最早2004年的BUG反馈，说明Findbugs的积淀和PMD不相上下。Findbugs只支持Java代码扫描，但是它的引擎技术是解析源码编译后的class文件，专业术语为控制流图和数据流分析技术。所以它能做的事情相比较PMD而言深度上更胜一筹。
   在结果对比中可以看到，Findbugs针对资源关闭先后推出了两代规则，分别使用了不同的静态扫描技术（详情可点击）。这表明Findbugs的开发者也发现资源关闭问题并不是一个简单的问题，它的场景复杂性以及实现的难度都超乎想象。（为什么复杂？请回顾静态代码扫描系列文章第四篇；有哪些复杂场景？请回顾静态代码扫描系列文章第五篇。）
   从以上的结果对比也能看出，即使Findbugs出了两代规则，也没有很好的解决资源关闭的问题。同时由于Findbugs开发者的退休老去，项目已经两年多没有更新版本，未来令人担忧。

3. Sonar
   对比报告中使用的Sonar版本为目前最新版本Sonar6.3.1。
   Sonar是产品化很用心很完善的开源静态代码扫描产品。从它的目前官网风格来看，猜不到它也是有着10年历史的产品。它目前的引擎跟PMD相似，所以扫描结果也很相似。在两年前曾在它的官网看到关于底层引擎的升级预告，即将引入控制流图和数据流分析的引擎，但是两年过去了，官网的设计和实现有了很大的改进，希望很快也能看到底层引擎的改进。
4. Infer
   对比报告中使用的Infer版本为目前最新版本。
   Infer作为Facebook旗下的开源产品，在即使不支持window的情况下，github都已经收获了6000+的Star，可见它的影响力和实力。Infer侧重于移动APP方向的检查，包括java、Objective-C 和 C语言。它作为一个后起之秀，底层引擎也很特殊，它是先把待检测语言转为OCaml，再去解析转化之后的OCaml语言。这是由于Infer有独到的针对OCaml语言的字节码解析器，但是这种方式在某种程度上牺牲了扫描效率，也算是有得有失。
   从对比结果可以看出，Infer发现问题的能力是很不错的，但是误报较多，说明对于很多特殊的场景并没有做处理。
5. 火线
   对比报告中使用的火线版本为目前最新版本Fireline1.2.4。
   火线目前还未开源，但是提供无限制的免费使用。火线作为各个开源产品的后辈，诚惶诚恐。火线从360公司内部的需求孵化而出，主要针对Andriod代码的安全问题扫描。在帮助公司内部解决了很多有价值的问题后，逐渐的走向公司外部，希望能帮助更多的人解决更多的问题，同时也希望通过大家的反馈帮助我们的火线更快的成长和进步。
   这次基于资源关闭的研究，是我们火线团队遇到了很多关于资源关闭的问题，它是很多开发的痛点，并且目前市面上并没有发现很好的解决方案。所以火线投入了大量的精力进行深入的研究。我们认定，如果能够帮助大家解决这个痛点，将会给大家带来很大帮助，同时我们的火线产品也将获得更多的认可。

三. 火线未来

我们在不断改进火线的过程中，已经收到了很多同学的反馈和建议。从大家的反馈中，我们发现了大家不同的需求，有希望火线支持IOS扫描的、有希望支持最近大火的语言Kotlin扫描的、也有希望针对圈复杂度和覆盖率进行统计的需求等等。作为火线的开发，我非常想满足所有人的所有需求。可是目前火线受制于某些原因，还没有足够多的人力以快速支持所有人的期望。我的想法是这样的，先集中力量解决大部分人共同的痛点；同时，希望大家能够多多反馈，反馈邮箱g-qtest-fankui@360（PS：我们领导也能看到反馈），用来帮助我们火线争取更多的资源来更快的发展。

不论是PMD、Findbugs、Sonar还是Infer，不管是开源还是商业产品，在静态代码扫描的领域，中国一直在国外的身后追赶。我们希望有一天，中国能有一款产品让国外的产品刮目相看，我们希望，这款产品是——火线。