Loobu lahingus ning peale seda astus ta Saksa sõjaväkke, mille käigus saadeti nad Venemaale. Ning esimesed lahingud Idarindel teenis ta ka Saksa sõdurite lugupidamise, kes ekstreemsetes olukordades lootsid Rebase peale. Ning esimene suurem lahinguülesanne viis Alfons Rebase ja tema mehed jaanuaris 1942 Volhovi rindele tõkestama II Vene löögiarmee läbimurret. Märtsis osales Rebane oma pataljoniga Punaarmee suurrünnaku nurjamises. Ja 8.aprillil 1943 omistati Rebasele Raudristi 2.klass ning 9.novembril Raudristi 1.klass . Alfons Rebane oli ka esimene eestlane, kes sai Raudristi Rüütliristi. Pärast II maailmasõda õnnestus Rebasel, ta naisel ja vanematel pääseda lääneliitlasteni, kus nad pääsesid vangilaagritest. Kui Rebane end Inglastele siiski vangi andis, kohtas ta üht Briti ohvitseri, kes mõistis miks eestlased saksa armees sõdisid. Seejärel leidis Rebane peidupaiga Goslari põgenikelaagris.
venelaste rünnakut riivistama, mis ka õnnestus. Seoses sekeldustega sakslastega formeeriti 6 Eesti julgestusüksust ümber 3ks idapataljoniks. 1942.a suvel määrati Rebane Idapataljonide staabi sideohvitseriks. Augusti lõpul 1942 määrati ta 658. idapataljoni ülemaks. Veebruaris 1943 viidi pataljon Volhovi rindele. Märtsis osales ta oma pataljoniga Punaarmee suurrünnaku nurjamises. Juunis 1943 ülendati Rebane majoriks. 1944.a jaanuaris alanud Punaarmee eduka suurpealetungi ajal jätsid sakslased tema pataljoni VolhoviNovgorodi piirkonnas taandumist katma. Hoolimata lahingute raskusest õnnestus Rebasel tekitada eriti Surkovos ja Vaskovos vaenlasele suuri kaotusi, päästa palju Saksa väeosi ümberpiiramisest ja tuua ka oma pataljon lahingutest välja. Nende lahingute eest autasustati teda esimese eestlasena Raudristi