Duvida sobre o Kernel

Pessoal hoje eu tive essa dúvida: após recompilar o kernel do Linux é recomendado recompilar também os drivers de vídeo (MesaGl) e audio e de placas de rede como o MadWifi (que uso para placa wireless). Me lembro que quando fui compilar o MadWifi (driver da placa wireless) ele usou os modulos do kernel. Então se eu mudar de kernel seria recomendado recompilar todos os drivers ou isso não existe, quer dizer, é minha viajem de loucura???

Agradeço desde já.

Grande pergunta. Até onde eu sei e fiz quando você recompila o kernel ele só compila (ou recompila) o que está no config salvo depois de aplicar o make menuconfig. O resto dos módulos precisa reinstalar.
Por exemplo- recompilei o kernel do ubuntu 8.04-rt. A placa de video, o vmware-player e o virtual box pararam de funcionar.
O vmware player bastou reinstalar.
A placa de video depois de muita briga instalou e ficou capenga, entra em resolução alta mas perdeu o 3D.Parece que não tenho o pacote linux-ubuntu-restricted-modules que é compilado só para o(s) kernel que tem no repositório.
O Virtual box eu não tentei mais porque não uso, era só para testar.
Logo vai ter que reinstalar a coisa toda.

Fiz essa pergunta porque ja compilei vários kernels e nunca tive problemas com video ou som depois da instalaçao do novo kernel (com excessao do som que ficou totalmente baixo, ae foi so aumentar os volumes).
Agora eu fiquei em dúvida se caso eu tivesse recompilado os drivers o desempenho dos dispositivos teria fica melhor.

E pensando bem é estranho mudar de kernel e todos os drivers continarem a funcionar corretamente. no minimo coisas estranhas deveriam acontecer, se eu estiver errado me corrigam.