1742. aastal siirdus mõis perekonnasidemete kaudu von Fersenite aadliperekonna valdusse, kes pärinesid Harjumaalt Pahkla mõisast. Kahekorruseline historitsistlik inglise stiilis esinduslik peahoone (loss) valmis mõisas 1903. aasta paiku.Peahoone ümbrus kujundati kauniks avaraks pargiks Riia linnaaedniku Georg Kuphaldti projekti järgi.Mõisakeskusesse suunduvad kolm teed - mõisaaia tagant kulgev ajalooline Paia-Viljandi maantee ning Olustvere raudteejaama suunduv tee kujundati kaunideks pikkadeks alleedeks. Olustvere alleed on Eesti ühed pikimad.Paia-Viljandi maantee äärne allee algab põhja pool raudteeülesõidust (viaduktist) ning lõpeb lõuna pool Jaska mõisa juures, olles 4,2 kilomeetri pikkune. Von Fersenitelt 1919. aastal võõrandatud mõisahoonesse kolis 1920. aastal põllutöökool.Veel 1970te aastate algul Olustvere mõisasüdant läbinud Paia-Viljandi maantee on kaasajal õgvendatud ning kulgeb paar kilomeetrit ida pool.
Viljandi maantee äärde jääb lauda- ja tallikompleks, samuti kuivati ja ait. Suure-jaani suunas paiknevad aida- ja laokompleks. Otse peahoone kõrval asub barokne nn vana proua maja, mis oli varem peahoone. Pargi servas tiigi kaldal on viinavabrik ja nuumhärgade tall. Kogu kompleksi piirab suurejooneline kivimüür. Mõisakeskusesse suunduvad kolm teed mõisaaia tagant kulgev ajalooline Paia-Viljandi maantee ning Olustvere raudteejaama suunduv tee kujundati kaunideks pikkadeks alleedeks. Olustvere alleed on Eesti ühed pikimad. Von Fersenitelt 1919. aastal võõrandatud mõisahoonesse kolis 1920. aastal Eesti Aleksandri Põllutöökeskkool, mis toodi Olustverre üle Kõo mõisast. Tänapäeval kannab kool nimetust Olustvere Kõrgem Põllumajanduskool. Mõisahoones asub kaasajal turismikeskus ja Olustvere muuseum. Mõisahoone säilinud interjööridega esindusruume saab välja üürida aga seminarideks ja konverentsideks, samuti pidulikeks üritusteks.