Serve para evitar fragmentacao, o windows nao eh pra ser usado sem Swap, mesmo com 4GB de ram (windows nao usa isso tudo sem problema).
Qndo se tira o swap, tudo que era pra estar nele, vai acabar na memoria fisica, inclusive o que nao eh preciso no momento, vc acaba usando mais memoria do que devia.
Alguns programas requerem o arquivo de Swap, mesmo que vc tenha o 2, 4GB instalados, swap nao serve so para suprir a falta de memoria, ele serve para guardar os arquivos em prontidao para serem acessados o mais rapido possivel.
Tem 2GB e praticamente so joga, deixe o arquivo de swap num tamanho pequeno, fixo, algo que seja pequeno pro seu HD nem perceber, digamos uns 256MB a 320MB, so pra ele ter.
Isso tbem depende do poder do seu PC, testei com 256MB aqui e o windows reclamou durante o Call of Juarez e BF2 por falta de arquivo de Swap, isso com 2GB, mas o jogo estava em 1600x1200 com todas opcoes no maximo, entao veja que o que vc ajusta no jogo tbem vai interferir no quanto de swap vai ser preciso.
Mas nao recomendo zerar o arquivo por completo, atualmente uso 320MB, so que meu swap fica em um HD separado pra isso.