230217 進程顯存佔用瑣記

今天使用組裏服務器，發現某些顯卡利用率爲 0，但仍有不少顯存佔用，不管是nvidia-smi還是gpustat都看不出是誰的哪個進程。

解決方案：

1
sudo fuser -v /dev/nvidia*

找到對應卡號的記錄（如 6 號卡）：

1
2
3
4
5
6
/dev/nvidia6:        nvidia-persistenced   1909 F.... nvidia-persiste
                     xxx       772677 F...m python
                     yyy       3591553 F.... python
                     yyy       3595089 F.... python
                     yyy       3595090 F.... python
                     yyy       3595091 F.... python

找到那些F...m的進程，並確認它們不在nvidia-smi列出的進程中，殺死即可。

參考