Alterar porta padrão SSH

Olá,
estou tendo muitas tentativas de invasão pela porta ssh,uso a porta padrão,22!
Estou tentando alterar a porta por uma outra,já editei no /etc/ssh/sshd_config e reiniciei a shell com o /etc/init.d/sshd restart , mas quando tento acessar pela porta que eu editei aparece "closed network connection" ,e consigo acessar normal pela porta padrão,ou seja não está alterando.
Nunca tive problemas com isso antes.
Alguem sabe informar o que pode estar acontecendo?

$ ssh -p novaporta user@server

Outras medidas: bloquear o acesso ssh do root, configurar o AllowUsers, limitar sessões,
limitar tentativas de logon...

Lembrando que isso não impede de baterem na sua porta. Dá uma olhada no SNORT e SURICATA.

Abraço!

Seja bem vinda ao fórum!

obrigada!Tentarei.