使用 Sourcegraph 搜索 34000 多个 Fedora 仓库

在 2021 年 10 月，一个 Fedora Linux 用户 问了一个关于许可的问题。Fedora 项目负责人 Matthew Miller 回复道：“我不能快速地检查(这个问题)，因为我们没有一个完整的、庞大的、可搜索的存储库来检索 Fedora 中所有软件包。”

接着他说：“……或许我们可以付钱给 Sourcegraph，让他们帮我们做这个。他们看起来乐于助人。” 他说的没错，我们(Sourcegraph)的确是乐于助人，而且我们还不想要你的钱，相反，我们想与 Fedora 社区合作。

Fedora 社区现在可以在他们的开源代码世界中尽情搜索 —— 目前有超过 34,000 个存储库，而且还在不断增加。

代码搜索简介

如果你还不熟悉 代码搜索 的概念，我现在就来告诉你。代码搜索可以让团队更快地掌握一个新的代码库，在里面找到答案，帮助团队识别安全风险，以及许多其他用例。Sourcegraph 已经在 GitHub 和 GitLab 等多个代码托管服务上，索引了 200 多万个存储库。本文只关注 src.fedoraproject.org 的代码搜索。Sourcegraph 同时提供了一个 Web 应用 和 命令行客户端。

使用 Web 应用

在使用 Sourcegraph Web 应用 时，你需要先输入初始字符串 repo:^src.fedoraprojects.org，然后再开始查询。这个 Web 应用 链接中包括了上面的初始字符串，点击这个链接后，搜索界面如下图所示：

Sourcegraph Web 应用界面

下面我将提供几个使用 Web 应用程序进行搜索的例子，大家可能会对它们感兴趣。

查找使用流行的经 OSI 批准的许可证的存储库

下面的查询语句将扫描所有兼容 “开源定义Open Source Definition”(OSD) 的软件存储库。

repo:^src.fedoraproject.org/ lang:"RPM Spec" License: 
^.*apache|bsd|gpl|lgpl|mit|mpl|cddl|epl.*$

许可证搜索

查找带有 TODO 的文件

下面的查询语句将在 34,000 多个仓库中找到 TODO 文件。对于那些希望为需要帮助的项目做出贡献的人来说，是一个非常棒的功能。

repo:^src.fedoraproject.org/ "TODO"

搜索 TODO

查找 FTP 服务器上的文件

我的一个前同事告诉我 “FTP 是一个死协议”。真的是这样吗?你也可以在这个查询中加入任何其他协议，如 irc、https 等。

    repo:^src.fedoraproject.org/ (?:ftp)://[A-Za-z0-9-]{0,63}(.[A-Za-z0-9-]{0,63})+(:d{1,4})?/*(/*[A-Za-z0-9-._]+/*)*(?.*)?(#.*)?

搜索协议

查找使用有漏洞的 Log4j 版本的文件

这个查询语句将找到任何可能存在 CVE-2021-44228(也就是 Log4j)漏洞的文件(可能会有误报)。你也可以搜索其他漏洞，然后报告给项目维护者。

repo:^src.fedoraproject.org/ org.apache.logging.log4j 
2.((0|1|2|3|4|5|6|7|8|9|10|11|12|13|14|15)(.[0-9]+)) count:all

搜索 log4j

使用命令行

Sourcegraph 还有一个叫做 src 的命令行客户端，它可以让你完成我刚才提到的所有事情。此外，它还有其他一些有用的命令。比如说，它可以把结果用 JSON 格式输出，方便你在编程中使用。

    src search -json 'repo:^src.fedoraproject.org/ lang:"RPM Spec" License: ^.*apache|bsd|gpl|lgpl|mit|mpl|cddl|epl.*$'

输出 JSON

输出 JSON

试一下!

搜索语法

就入门而言，上面的例子是很好的起点，但 Sourcegraph 还支持更多的查询语句。你可以 查看所有的搜索查询语法，并根据需要创建你自己的查询语句。

总结

正如你所看到的，有了 Sourcegraph，Fedora Linux 社区现在可以快速搜索托管在 src.fedoraproject.org 上的所有代码，无论是使用普通查询还是复杂的正则查询。