Спасибо @riarheos за подсказку.

Пост является логическим продолжением поста про DSH и решает проблему DSH с работой с нестандартными портами ssh. А так же сильно упрощает жизнь тем, кто ходит на разные серверы по разным портам под разными пользователями.

Идея очень проста — мы создадим что-то вроде алиасов в конфиге ssh. Решение очевидное, но всё же я про него забыл.
В файл ~/.ssh/config что-то вроде такого:

Host srv1
User root
Port 225
HostName 8.8.8.8

Host 4
User root
Port 228
HostName 8.8.4.4

Теперь мы можем использовать команды вида ssh srv1 — в таком случае, исходя из конфига выше, мы попадем на сервер 8.8.8.8 на порт 225 пользователем root.

Возвращаясь к DSH —
Мой файл /etc/dsh/group/vdshosts теперь выглядит так:
srv1
srv2
srv3
srv4