Jean Valjean saab pärast 19 aastat kestnud sunnitööd kollase passi, millega pääseb küll tingimisi vabadusse, kuid mis muudab ta ühiskonnas tõrjutuks. Ainult Digne'i piiskop kohtleb teda lahkelt, kuid viletsusest kibestunud Valjean vastab tema headusele varastades lauahõbeda. Sandarmid püüavad Valjeani kinni ning toovad ta piiskopi ette. Valjeani suureks hämmastuseks valetab piiskop tema päästmiseks sandarmitele ja kingib lisaks kaks hinnalist küünlajalga. Valjean otsustab alustada uut elu. Kaheksa aastat hiljem on Valjean, rikkudes vabastamise tingimusi, vahetanud nime ning saanud Monsieur Madeleine'ina nii vabriku omanikus kui linnapeaks. Üks tema töötaja, Fantine varjab, et tal on sohilaps. Teised naised vabrikus avastavad selle ja nõuavad Fantine'i vallandamist. Töödejuhataja, kelle lähenemiskatseid Fantine on tagasi lükanud, viskab ta välja.
Et tal oli aga kollane pass (väljastati sunnitöölistele), siis keegi ei tahtnud teda enda poole, sest nad kartsid. Lõpuks juhatati Jean piiskopi juurde, kes ta igati hästi vastu võttis, pakkus õhtusööki ja öömaja. Et piiskopil olid õhtusöögi ajal hõbenõud laual, otsustas J.Valjean need öösel varastada õnnetuseks võeti ta aga peale majast väljumist peagi kinni ja viidi piiskopi juurde tagasi. Jean Valjenil vedas väga piiskop päästis ta valetades sandarmitele, nagu oleks ta ise need asjad endisele sunnitöölisele andnud. Jean Valjeani hinge oli hakanud paistma esimene päikesekiir üle 19 aasta, mille ta oli sunnitööl veetnud. Pikemalt peatuti ka neiul, nimega Fantine, kes õnnetu armastuse tulemusena sai lapse, kes on raamatus olulisel kohal - teda kutsuti Cosette'ks. Et Fantinel ei olnud tööd, oli ta sunnitud oma tol ajal 3-aastase lapse hoiule andma, suundudes tööotsingutele linna. Cosette jäeti ühte trahterisse, mida