Joseph Haydn on sündinud 31. märtsil 1732. aastal Austrias Rohrau külas tõllassepa pojana. Tema pere oli väga musikaalne. Tihti laulsid nad koos enda naabritega Josephi isa Mathias Haydn oli folgimuusik, kes õppis iseseisvalt mängima harfi. Tema vanemad märkasid varakult, et Joseph on andega ning teadsid, et Rohrau küla ei suuda pakkuda proffessionaalset koolitust. See oli üks põhjusi, miks tema vanemad nõustusid saatma Josephi enda sugulase Johann Matthias Frankhi juurde, kes oli kooli-ja kooriõpetaja Hainburgis. Frankh hakkas Josephit koolitama muusikuks enda kodus. Joseph lahkus kodunt kui ta oli kuueaastane ja ei elanud enam mitte kunagi oma vanematega. Elu Frankhi juures ei olnud lihtne. Ta oli pidevalt näljane ja teda narriti tihti tema viletsate riiete pärast. Peale mõningast koolitust suutis Haydn juba mängida viiulit ja klavessiini. Georg von Ruetter, kes oli Viini Püha Stephani Katedraali
Haydn sündis Unagri piiri lähedal Rohrau külas. Tema vanemad ei tundnud kumbki nooti, aga siiski meenutas ta tihti, et tema lapsepõlv oli rohkelt muusikat täis, sest lauldi palju naabritega ja perekeskis. Kui Haydni vanemad märkasid, et laps on muusikaliselt andekas, teadsid nad, et Rohrau külas tal tõsisemaid arenemisvõimalusi ei ole. Haydnite sugulane Johann Matthias Frankh, kes oli koorijuht, nõustus Josephi enda hoole alla võtma ja teda õpetama. Elu Frankhi majapidamises oli keeruline, tihti pidi nälgima ja riided olid alati räpased. Samas oli see koht, kus Haydn sai õppida viiulit ja klavessiini ja samas ka laulda kirikukooris, kus teda hiljem märgati ja Haydnist sai laulja Püha Stephani katedraali poistekooris. 1749. Aastal algas tal häälemurre ja ta ei saanud kooris laulmist enam jätkata ning hakkas otsima tööd vabakutselisena. Ta pani end proovile mitmel alal: muusikaõpetajana, tänavamuusikuna ja hiljem ka Nicola Porpora teenrina.