接続時のssh遅延

ほとんどの場合、DNS の問題です。 sshd_config で「UseDNS no」を設定してみてください。

リバース DNS ルックアップの遅延である可能性があります。接続ホストに DNS エントリがない場合は、接続先のサーバーの /etc/hosts にソース システムのエントリを追加してみてください。