使用 Planemo 进行 Galaxy 工具开发 #57
shenweiyan
announced in
3.1-Galaxy
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
文章开始前，我们先了解一下 Planemo 到底是个什么东西。
说白了，Planemo 就是用于 Galaxy 平台工具和 WDL 通用工作流语言相关产品辅助开发的一个命令行工具，这个程序集可以用于工具、流程，以及培训教材的开发。
安装 Planemo
无论是 pip 还是 conda 都可以安装 Planemo：
接下来，进入今天的正题，我们来详细介绍一下怎么使用 Planemo 进行 Galaxy 工具开发。
基础用法
本指南将演示如何使用 Heng Li 的
Seqtk软件包构建命令工具，该软件包用于处理 FASTA 和 FASTQ 文件中的序列数据。首先，我们需要先安装
Seqtk。在这里，我们使用conda来安装Seqtk(你也可以使用其他的方法安装)。$ conda install --force --yes -c conda-forge -c bioconda seqtk=1.2 ... seqtk installation ... $ seqtk seq Usage: seqtk seq [options] <in.fq>|<in.fa> Options: -q INT mask bases with quality lower than INT [0] -X INT mask bases with quality higher than INT [255] -n CHAR masked bases converted to CHAR; 0 for lowercase [0] -l INT number of residues per line; 0 for 2^32-1 [0] -Q INT quality shift: ASCII-INT gives base quality [33] -s INT random seed (effective with -f) [11] -f FLOAT sample FLOAT fraction of sequences [1] -M FILE mask regions in BED or name list FILE [null] -L INT drop sequences with length shorter than INT [0] -c mask complement region (effective with -M) -r reverse complement -A force FASTA output (discard quality) -C drop comments at the header lines -N drop sequences containing ambiguous bases -1 output the 2n-1 reads only -2 output the 2n reads only -V shift quality by '(-Q) - 33'接下来，我们将下载一个 FASTQ 示例文件，并测试一个简单的 Seqtk 命令
seq，该命令将 FASTQ 文件转换为 FASTA。有关功能齐全的 Seqtk 包封装，可以在 GitHub 上查看 Helena Rasche's wrappers。
Galaxy 工具文件只是 XML 文件，因此此时可以打开文本编辑器并开始编写工具。Planemo 有一个命令
tool_init可以快速生成一些样板 XML，因此首先开始。tool_init命令可以采用各种复杂的参数，但如上面展示的--id和--name是其中两个最基本的参数。每个 Galaxy 工具都需要一个 ID（这是 Galaxy 自身用来标识该工具的简短标识符）和一个名称（此名称会显示给 Galaxy 用户，并且应该是该工具的简短描述）。工具名称可以包含空格，但其 ID 不能包含空格。上面的命令将生成一个 seqtk_seq.xml 文件，这个文件看起来像这样：
这个生成的模板 XML 文件具有了 Galaxy 工具所需的公共部分内容，但你仍然需要打开编辑器并填写命令模板、输入参数描述、工具输出信息、帮助部分信息等。
tool_init命令也可以做得更好。 们可以使用在seqtk seq -a 2.fastq> 2.fasta上面尝试过的测试命令作为示例，通过指定输入和输出来生成命令块，如下所示。$ planemo tool_init --force \ --id 'seqtk_seq' \ --name 'Convert to FASTA (seqtk)' \ --requirement seqtk@1.2 \ --example_command 'seqtk seq -a 2.fastq > 2.fasta' \ --example_input 2.fastq \ --example_output 2.fasta这将生成以下 XML 文件- 该文件具有正确的输入和输出定义以及实际的命令模板。
如本节开头所示，命令
seqtk seq会为seq命令生成帮助消息。tool_init可以获取该帮助消息，并使用help_from_command选项将其正确粘贴在生成的工具 XML 文件中。通常，命令帮助消息并不完全适用于工具，因为它们会提到参数名称和由工具抽象出来的类似细节，但它们可能是一个很好的起点。
以下 Planemo 的
tool_init的调用已增强为使用--help_from_command。$ planemo tool_init --force \ --id 'seqtk_seq' \ --name 'Convert to FASTA (seqtk)' \ --requirement seqtk@1.2 \ --example_command 'seqtk seq -a 2.fastq > 2.fasta' \ --example_input 2.fastq \ --example_output 2.fasta \ --test_case \ --cite_url 'https://github.com/lh3/seqtk' \ --help_from_command 'seqtk seq'除了演示
--help_from_command之外，这还演示了使用--test_case从我们的示例生成测试用例并为基础工具添加引用。生成的工具 XML 文件为：至此，我们有了一个功能相当齐全的 Galaxy 工具，它带有测试和帮助。这是一个非常简单的示例——通常，您需要在工具中投入更多工作才能实现这一点，
tool_init实际上只是为了让您入门而设计的。现在让我们检查并测试我们开发的工具。Planemo的
lint（或仅l）命令将检查工具的 XML 有效性，检查是否有明显的错误以及是否符合 IUC 的最佳做法。$ planemo l Linting tool /opt/galaxy/tools/seqtk_seq.xml Applying linter tests... CHECK .. CHECK: 1 test(s) found. Applying linter output... CHECK .. INFO: 1 outputs found. Applying linter inputs... CHECK .. INFO: Found 1 input parameters. Applying linter help... CHECK .. CHECK: Tool contains help section. .. CHECK: Help contains valid reStructuredText. Applying linter general... CHECK .. CHECK: Tool defines a version [0.1.0]. .. CHECK: Tool defines a name [Convert to FASTA (seqtk)]. .. CHECK: Tool defines an id [seqtk_seq]. .. CHECK: Tool targets 16.01 Galaxy profile. Applying linter command... CHECK .. INFO: Tool contains a command. Applying linter citations... CHECK .. CHECK: Found 1 likely valid citations. Applying linter tool_xsd... CHECK .. INFO: File validates against XML schema.默认情况下，
lint会在您当前的工作目录中找到所有工具，但是我们可以使用planemo lint seqtk_seq.xml指定一个特定的工具。接下来，我们可以使用
test（或仅执行t）命令运行工具的功能测试。这将打印很多输出（因为它启动了 Galaxy 实例），但最终应该显示我们通过的一项测试。除了在控制台中将测试结果显示为红色（失败）或绿色（通过）外，Planemo 还默认为测试结果创建 HTML 报告。 还有更多测试报告选项可用，例如
--test_output_xunit，在某些持续集成环境中很有用。有关更多选项，请参见planemo test --help，以及test_reports命令。现在，我们可以使用
serve（或仅使用s）命令打开 Galaxy。在网络浏览器中打开 http://127.0.0.1:9090 以查看您的新工具。
服务和测试可以通过各种命令行参数传递，例如
--galaxy_root，以指定要使用的 Galaxy 实例（默认情况下，planemo 将仅为 planemo 下载和管理实例）。简单参数
我们为
seqtk seq命令构建了一个工具包的封装，但是该工具实际上具有我们可能希望向 Galaxy 用户公开的其他选项。让我们从
help命令中获取一些参数，并构建 Galaxy 的param块以粘贴到该工具的input块中。在上一节中，我们看到了输入文件在
param块中是一个data的类型，除此之外我们还可以使用许多不同种类的参数。如标志参数（例如以上-V参数），通常在 Galaxy 工具的 XML 文件中由boolean来表示。然后，我们可以将
$shift_quality粘贴在command块中，如果用户选择了此选项，它将扩展为-V（因为我们已将其定义为truevalue）。如果用户未选择此选项，则$shift_quality将仅扩展为空字符串，而不会影响生成的命令行。现在考虑以下的
seqtk seq参数：这些可以转换为 Galaxy 参数，如下所示：
这些可以作为
-q $quality_min -X $quality_max添加到命令标签中。此时，该工具将如下所示：
条件参数
以前的参数很简单，因为它们总是出现，现在考虑一下下面的参数。
-M FILE mask regions in BED or name list FILE [null]我们可以通过添加属性
optional ="true"将该数据类型参数标记为可选。然后，不仅可以直接在命令块中使用
$mask_regions，还可以将其包装在if语句中（因为工具 XML 文件支持 Cheetah）。接着，我们考虑这一组参数：
在这种情况下，只有在设置了样本参数的情况下，才能看到或使用
-s随机种子参数。我们可以使用conditional条件块来表达这一点。在命令块中，我们可以再次使用
if语句包括这些参数。注意，我们必须使用
sample.的前缀来引用这个参数，因为它们是在sample的条件块内定义的。现在该工具的最新版本如下：
对于这样的工具，这些工具有很多选项，但在大多数情况下使用默认值是首选——一个常见的习惯用法是使用条件将参数分为简单部分和高级部分。
使用惯用法，更新此工具后的 XML 如下所示：
脚本封装
Tool Shed 上已经提供了许多常见的生物信息学应用程序，因此一项常见的开发任务是将各种复杂程度的脚本集成到 Galaxy 中。
考虑以下小型 Perl 脚本。
可以按照以下步骤为此脚本构建 Galaxy 工具，并将脚本与工具 XML 文件本身放在同一目录中。这里的特殊值
$__ tool_directory__是指工具（即 xml 文件）所在的目录。Macros 宏集
如果您希望为单个相对简单的应用程序或脚本编写工具，则应跳过本节。如果您希望维护一系列相关工具——经验表明，您将意识到有很多重复的 XML 可以很好地做到这一点。Galaxy工具 XML 宏可以帮助减少这种重复。
通过使用
--macros标志，Planemo 的tool_init命令可用于生成适合工具套件的宏文件。我们看一下以前的tool_init命令的变体（唯一的区别是现在我们添加了--macros标志）。$ planemo tool_init --force \ --macros \ --id 'seqtk_seq' \ --name 'Convert to FASTA (seqtk)' \ --requirement seqtk@1.2 \ --example_command 'seqtk seq -A 2.fastq > 2.fasta' \ --example_input 2.fastq \ --example_output 2.fasta \ --test_case \ --help_from_command 'seqtk seq'这将在当前目录中产生两个文件（
seqtk_seq.xml和macros.xml），而不是一个。如您在上面的代码中所看到的，宏是可重用的 XML 块，它们使避免重复和保持 XML 简洁变得更加容易。
参考资料
Beta Was this translation helpful? Give feedback.
All reactions