Ich bekomme noch die Krise mit #snakemake, #slurm und dem slurm-extra-plugin und #profiles.
Die Handles und Keys werden ständig unterschiedlich verwendet, je nach dem in welche Dokumentation man schaut. 😭
4
Replies
·
0
Boosts
@necrosis Schön, dass Du es verwendest!
Was ist denn das spezifische Problem? Und wo widersprechen sich die Dokumentationen? Wieso gibt es überhaupt mehrere?
edit/PS: https://snakemake.github.io/snakemake-plugin-catalog/plugins/executor/slurm.html das ist die "offzielle" - ich nehme gerne Verbesserungsvorschläge an.
@rupdecat ich wusel gerade zwischen
~/.config/snakemake/gmx_slurm/profile.v9+.yaml
und meinem Snakefile.
Für eine bestimmte Rule möchte ich die GPU verwenden und im Snakefile unter "resources" folgendes setzen:
resources:
slurm = " 'gres=gpu:1' ",
Dabei ist unklar ob:
slurm = " 'gres=gpu:1' ",
oder
slurm_extra = " 'gres=gpu:1' ",
Meine profile.yaml Datei passt soweit.
Danke für die unkomplizierte Unterstützung. 🥹 🙏
@necrosis also, ich würde die Workflow spezifischen Regeln in ein Workflow-Profile stecken. Die allgemeinen Defaults (executor, latency settings und bald auch stage-in Verzeichnis) unter ~/.config/snakemake/config.yaml .
`slurm_extra` war ein catch-all für die nicht weiter dokumentierten Features. Inzwischen wird gecheckt, ob es einen Flag gibt, der anderweitig gesetzt werden kann. Seit letztem Frühjahr gibt es erweiterten GPU-Support mit `gpu=1`, vgl. https://snakemake.github.io/snakemake-plugin-catalog/plugins/executor/slurm.html#specifying-gpu-resources-in-snakemake - ich will aber nicht ausschließen, dass beim Überarbeiten der Dokumentation etwas übersehen wurde.
@rupdecat Ok.
Diese Empfehlungen habe ich auch gelesen, das so zu trennen.
Werde ich umsetzen. Danke.
Ich hatte ursprünglich gar:
resources:
gpu = 1,
Jedoch zeigte squeue die Nutzung eines GPU-Nodes an, aber unter "PARTITION" stand: medium (statt gpu).
Wenn ich mich auf dem gpu-Node eingeloggt habe konnte ich mit nvidia-smi festellen, dass die GPU genutzt wird. Allerdings nicht voll ausgelastet.
Bin noch am opimieren meiner #GROMACS Pipeline. 😅 🙈
