La cosa es que lo instalé Ubuntu y funciona expectacular (ojo que con un Intel Core 2). El único problema es que si el kernel de Linux se actualiza, al tratar de encender la máquina virtual esta se queda pegada iniciándose.
Al final la papa es simple, basta matar Virtualbox (ya sea vía el System Monitor o usando killall VirtualBox) y luego:
sudo /etc/init.d/vboxdrv setup
Eso es. Saludos!
Referencia: http://tombuntu.com/index.php/2008/10/17/fix-the-virtualbox-spawning-session-issue/