Petunia (Lily õde) ja tema mees Vernon Dursley kasvatasid Harry üles koos enda poja Dudley Dursleyga, kes on Harryst mõned kuud vanem, sünnipäevaga kevadel. Harry oli oma ea kohta lühike ja kõhetu, kuid ta suutis kiiresti Dudley ja tema kambajõmmide eest ära joosta. Tal olid mustad sassis juuksed ja ta kandis prille. Harry oli väga oma isa sarnane, ainult tema isal polnud otsaees armi ja Jamesil olid pruunid silmad, mitte rohelised nagu Lilyl. Harry riided olid väga suured ja lotendavad. Nimelt ei soovinud Dursleyd talle riideid muretseda ja ta kandis Dudley vanu riideid, aga erinevalt Harryst on Dudley tüse. Harry oskas ussisõnu: sai usside jutust aru ja suutis ka ise nendega rääkida. Ussidega oskasid rääkida väga vähesed nt. Salazar Slytherin ja tema järeltulija (kes avas kaks korda saladuste kambri) Lord Voldemort (Tom Marvolo Riddle). Harry Potteri hooldajad registreerisid ta Stonewalli keskkooli