Sim, o VMware é pago. O VMware Player é voltado para desktop e é grátis. Para solução Desktop, o VirtualBox é excelente. Possui administração gráfica e por linha de comando, aceita inúmeros parâmetros, é estável e free.
Além destes existe também o Qemu, que também pode ser usado para administrar o Kvm. Funciona por linha de comando, mas tem também alguns aplicativos gráficos para administração, como o AQemu e o QtEmu.
Agora, quando se fala em servidor, algo mais parrudo, com suporte a cluster, backup, snapshot, alocação dinâmica de recursos, aí eu aconselho usar algo mais profissional. O VWware ESX é muito usado e tem muitos recursos. Mas é pago. Outro que uso e gostei é o KVM. Ele á mais novo que o VMware e precisa que o servidor tenha um processador mais novo, com suporte a vms (veja com cpinfo se o teu processador Intel tem suporte a vms, ou ao smx se for Amd). Como o Kvm usa instruções do próprio processados ele tende a ser mais rápido do que o VMware. Ele também possui muitos recursos na linha de comando e, como falei, também pode ser administrado pelo AQemu, mas a interface gráfica contém poucos recursos. Uma solução interssante que achei foi o Proxmox (
www.proxmox.com). Você pode baixar uma iso instalável que comtém uma interface Web para administrar máquinas virtuais Kvm e OpenVZ. Apesar do Proxmox ser relativamente novo, vale a pena dar uma olhada.
Aproveitando, o OpenVZ é a melhor solução quando você precisa de uma máquina virtual que use o mesmo kernel do servidor hospedeiro. Ou seja, criar uma máquina virtual Linux dentro de um servidor Linux.
Outra solução muito utilizada é o Xen. Mais maduro e parrudo que o Kvm, também é utilizado por muitas empresas. Ele é free e possui uma interface de linha de comando com milhares de parâmetros, mas há uma solução gráfica da Citrix. Se quiser conhecê-la, pode baixar o Xen Citrix (
www.citrix.com). Há uma versão free com menos recursos e que possui um cliente para Windows onde é possível administrar o servidor de virtualização. É necessário um cadastro prévio no site.
Se quiser mais informações, a revista Admin Magazine número 1 possui dezenas de páginas voltadas para Virtualização, tanto em Linux quando em Windows.