Век живи, век учись, как говориться.
Частенько сталкиваюсь с такими ситуациями:
1) сижу по ssh на одном сервере, по scp понадобилось что-либо скачать с другого.
2) нужно сделать rsync с одного сервера на другой.
3) нужно выполнять команды на втором сервере из скрипта, запущенного на первом (из консоли, а не крона, само собой)
Естественно, что на оба сервера есть рутовый доступ по ключам.

В таких случаях долгое время я создавал дополнительные ssh ключи, чтобы с одного сервера можно было зайти на другой. Да, глупо, я знаю. Но ведь не все знают про ssh-agent forwarding.

Можно просто написать в ~/.ssh/config
Host
ForwardAgent yes

Эта опция позволяет ssh-клиенту «пробрасывать» ваш ключ на сервер, на который вы зашли по ключу. Таким образом вы (в одной консоли, само собой) пишете:
user@laptop:~$ ssh root@server1
root@server1:~# ssh root@server2
root@server2:~#
И оказываете на server2, зайдя на него по цепочке laptop->server1->server2, при этом на оба сервера вы зашли по вашему ssh-ключу, который лежит только на лаптопе.
Учтите, что сделать цепочку из трех серверов получится сделать только если на server1 включена опция ForwardAgent. То есть, ключ форвардится только один раз. Если на server1 отключена эта опция — то с него вы сможете перейти только на один сервер. В примере выше — на server2 мы зашли по ключу, но ключ на этот сервер не проброшен, поэтому если мы попытаемся зайти с него на server3 — то у нас спросят пароль. Если же опцию включить на server1 — то ключ пробросится на server2, и мы сможем по ключу пойти с него на server3. А при попытке зайти на server4 по цепочке… ну вы поняли =)