Niisuguse vaimustuse kõrval oli tal aga ka kadedust küllalt kannatada. Sellest tulenevalt sai ta endale külge kuradiviiuldaja ja nõiameistri kuulsuse. Kõikjal kus ta mängis oli kontsertisaal puupüsti täis, kuigi piletihinnad tõusid mitmekordselt. Külmakartuse pärast oli Paganinil ka 20 kraadi sooja juures kasukas seljas ja vankri uksed kinni. Toas istus ta selle vasta sagedasti lahtiste akende ja uste vahele, mis ta rinnahaigust suurendas. Reisides oli tal kaasas viiulikast, pesu ja mõningad riided. Ka rehnuti raamat, kust keegi peale ta enese ei võinud aru saada. Paganini ei võtnud viiulit muidu kastist välja, kui natuke enne kontserti, sest kauaaegne aheldatud viiulikülge oli suutnud temas tekitada kohati ka põlgust selle instrumendi suhtes. Paganini oli kurva loomuga, nagu enamasti kõik haiglased inimesed. Ta ei armastanud suuri seltskondi ja hoidis rahvast eemale. Esinedes muutus Niccolo alati imelikult tõsiseks ja pidulikuks
Poogna hoidis ta mänguseaduste vastu koguni keha ligi. Kui ta aga mängima hakkas, siis näis nagu vägilase jõud temale tulevat: kõik liikmed ja sõsud saivad kindlaks, ning poogen käis imeväel üles ja alla." Külmakartuse pärast oli Paganinil ka 20 kraadi sooja juures kasuk seljas ja vankri uksed kinni. Toas istus ta selle vasta sagedasti lahtiste akende ja uste vahele, mis ta rinnahaigust suurendas. Reisides oli tal kaasas viiulikast, pesu ja mõningad riided. Ka rehnuti raamat, kust keegi peale ta enese ei võinud aru saada. Tähed olivad imelikud varesejalad, ning rehnungides seisivad kõik väljaminekud ja sissetulekud, piletite ja posthobuste hinnad segamini. Ja siiski sai ta ise sellest selgesti aru ning ei lasknud rehkendamises end ilmaski petta. Voorimeeste, teenijate ja teiste alamast seisusest inimeste vasta oli Paganini uhke. Aga noorte muusikantide, lauljannade jne