1640. aastal. Pandilepingu lõppedes siirdus mõis De la Gardie´dele tagasi. Krahv Pontus Fredrik De la Gardie (1630–1692) pantis selle lõplikult ära: 1668. aastal sai pandihärraks Johann von Schlippenbach. Pärast Johann von Schlippenbachi surma siirdus mõis endiselt pandivaldusena edasi tema pärijatele. 1734. aastal oli Olustvere mõisnikuks vabahärra Berend Friedrich von Schlippenbach. Viimane pärandas mõisa oma tütrele Anna Friederika von Schlippenbachile, kes abiellus 1742. aastal Karl Gustav von Ferseniga. Pärast Anna Friederika surma (1779) siirdus mõis 1791. aastal tema pojale tulevasele Vene keisririigi krahvile kindralporutšik Hans Heinrich von Fersenile (1743– 1800). Pärast Hans Heinrichi surma pärandati Olustvere mõisa edasi kolm põlvkonda. Kõigepealt sai mõisnikuks kaardiväeleitnant krahv Karl Gustav von Fersen (1779– 1825), seejärel tema poeg ülemjäägermeister krahv
aasta 13. detsembril jõulude paiku saabus tsaar Peeter koos armastatud abikaasa Katariinaga ja saatjaskonnaga tollasse Revali . Sõidu eesmärgiks polnud mitte ainult siinse talve ja mere nautimine vaid ennekõike linna- ja rannakindlustustega tutvumine. Ise peatus ta Toompeal, praegusel aadressil Lossi plats 4, mis asub Aleksander Nevski katedraali kõrval. Nüüd töötab korduvalt ümbeehitatud majas suveniiri kauplus, 1711. aastal kuulus hoone aga Rootsi kindral Anton Wolmar Schlippenbachile. Viimane kaotas 1701. aasta 30.detsembril vene kindral Boriss Petrovits Seremetjevile verise lahingu Põlvamaal Erastvere lähedal. Vähesed teavad täna meenutada, et just Erastvere lahing, millest võttis osa ligi 10 000 meest kummalgil poolel, sai Põhjasõja käigus pöördeliseks. Peeter juubeldas võidu puhul, Moskvas korraldati saluut ja iga ellu jäänud vene sõdur sai autasuks terve kuldrubla. Erastvere lahingust alates tabas rootslasi üks kaotus teise järel