Dificuldade em configurar servidor SSH para não aceitar senhas. [RESOLVIDO]

Estou tentando configurar um servidor SSH para não aceitar senhas, o problema é que eu configuro, reinicio o servidor e mesmo assim continua a aceitar senhas.

A principio, estou mudando deixando

PasswordAuthentication no 

Usando: Debian 12 e Ubuntu Server.

Edit: Por algum motivo PasswordAuthentication está como Yes! Mesmo salvando como root....

No sshd_config.d tinha um arquivo com valor PasswordAuthentication Yes que sobrescrevia o valor do arquivo sshd_config, alterei e salvei.