Diferencia entre 32 y 64 bits

Lo primero que hay que tener muy en cuenta es que para instalar un sistema operativo de 64 bits hay que tener un procesador de 64 bits y una placa base que lo admita de forma nativa. Actualmente quedan en el mercado muy pocos procesadores que sean de 32 bits (solo algunos de gama baja, normalmente para RMA o equipos de muy bajo precio) y la practica totalidad de las placas base son de 64 bits, pero los equipos algo más antiguos (por ejemplo, P4 478) si que son de 32 bits. 

Ventajas que tienen las versiones de 64 bits 

La principal de todas es que las versiones de 64 bits suportan mucha más memoria (tanto RAM como virtual) que las versiones de 32 bits. 
Todos los sistemas operativos de 32 bits tienen un límite en la memoria RAM de 4Gb (que además, en el caso de Windows, no suelen aprovecharse completos). Esto en realidad para uso doméstico no es un gran obstáculo, ya que no es habitual instalar esa cantidad de memoria. 
Las versiones de 64 bits no tienen ese límite, por lo que podemos instalar bastante más memoria. 
La cantidad máxima de RAM soportada por las versiones de 64 bits de Windows son las siguientes: 

Windows XP Profesional 64 bits.- 16Gb de memoria RAM. 
Windows Vista Home Basic 64 bits.- 8Gb de memoria RAM. 
Windows Vista Home Premiun 64 bits.- 16Gb de memoria RAM. 
Windows Vista (Resto de versiones) de 64 bits.- - 128Gb de memoria RAM.