Kolumbus
olid ka mõned illusioonides pettunud ümberasujad, kellel lubati kodumaale tagasi minna.
Vähimagi kullata taskus kodumaale naasnud hispaanlased jutustasid Kolumbuse
hirmuvalitsusest ja julmustest, mis olid La Isabelas igapäevased. Jutud jõudsid ka
kuningapaari kõrvu.Kui Kolumbus 1496. aastal taas kord Hispaaniasse naases, avastas ta,
et tema kui riigi uhke poja staatuse sära oli tuhmunud. Tema koloonia oli samal ajal täielikult
hävinemas. Hispaanlased tegid kohalike vastu ühe karistusekspeditsiooni teise järel, samas
üksteisega võimu ja vähese toidu pärast võideldes. 1497. aasta mais jõudsid rahutused
kõrgpunkti. 100 kolonisaatorit lõi La Isabelast lahku, röövis selle loomadest ja relvadest
tühjaks ning asutas saarel omaenda väikese asunduse. Aasta hiljem loobuti La Isabelast
täielikult, eelistades lõunarannikul asuvat uut Hispaania linna Santo Domingot.1498. aasta
augustis pöördus Kolumbus pärast Venezuela ranniku uurimist oma kolmandal reisil
Hispaniolale tagasi