Antes de mais nada, farei um pequeno adendo ao uso da memória pelo kernel do sistema.

Uma das tarefas primordiais do kernel é gerenciar o aproveitamento de memória do sistema, seja ela física ou virtual. Esta memória virtual, conhecida como "swap", nada mais é que um espaço em seu HD.

O kernel frequentemente varre processos da memória física para a virtual, quando estes estão inativos, e os varre de volta à memória física quando são requisitados. Com isto, o kernel consegue utilizar mais memória do que apenas dispõe fisicamente.

Cada processo iniciado recebe uma "vaga" única na memória do sistema (dois processos distintos não podem usar a mesma vaga). Cada agrupamento destas vagas é chamado de página. O kernel distribui cada página entre a memória virtual e a física, de acordo com sua necessidade. Por exemplo, se um processo não é utilizado por determinado período de tempo, o kernel varre o mesmo da memória física para a virtual, deixando a última livre para algum novo processo.

Quando o sistema precisa de um processo que está em uma página da swap, ele precisa varrê-lo de volta, o que consome um pouco de tempo, tornando o processo mais lento.

E isso ocorre repetidas vezes enquanto o Linux estiver de pé.