Depende de su servidor ssh (y distribución de Linux).
Echa un vistazo a /etc/ssh/sshd_config (o similar, esto es al menos en las distribuciones basadas en Debian).
Hay fila
Port 22
Cámbielo y reinicie su sshd (generalmente /etc/init.d/ssh restart , también puede ser /etc/init.d/sshd ).