kohaselt heideti ta välja poliitilise tegevuse pärast, teise versiooni kohaselt eksamite ebaeduka sooritamise tõttu. Stalini elu jätkus töötades Tbilsi Füüsika Observatooriumis kuni 1901. aastani. Lahkudes observatooriumist sai alguse Stalini salajane tegutsemine ja mitmed varjunimed nagu Koba, David ja Stalin. 1902. a. aprillis vahistati Stalin, kes kandis salanime Koba, Batumis streikide õhutamise eest ja saadeti kolmeks aastaks Siberisse asumisele. Seal Jossifile ei meeldinud ning kuue nädala pärast naasis ta Batumisse ning sealt edasi Bakuusse. 1906. aasta juunis abiellus Stalin grusiinlanna Jekaterina Svanidzega. Laulatuse viis läbi Stalini kunagine koolikaaslane Kristof Thinkvoleli, kes oli Gori's preester. Noored asusid elama Tbilsi. 1907. aastal, kuus kuud pärast poja Jakovi sündi suri Jekaterina tüüfusesse. 20. märtsil 1908.a Stalin vahistati ja saadeti Bailovi vanglasse. See oli raske löök, mille võimud andsid piirkonna bolsevikele
pidevalt oma naist ning väikest poega. Isa murdis mitu korda poisi käeluud ja arvatakse, et seetõttu oli ka mehe üks käsi lühem kui teine. Selline karm kohtlemine isa poolt tegigi Stalini nii külmavereliseks tapjaks nagu oli Vissarion. Tema sõbrad ütlesid, et nad ei ole Jossifit kunagi nutmas näinud. Stalini ema oli ühele perele koduabiline, ta pes pesu ja tegi muid majapidamistöid. Mõnikord võttis oma poja kaasa, kes teda aitas. Kodu peremees aga andis Jossifile mõnikord raha või raamatuid lugemiseks ning julgustas teda tagant, et poiss ikka õpiks ja niisama looderdajaks ei kasvaks. Lapsepõlve ajal, huvitus väike Stalin muinasjutte Georgia mägironijatest, kes võitlesid väga vägivaldselt omal linna iseseisvumise eest. Tema kõige lemmikum kangelane nendest juttudest oli Koba, mis sai Stalinile esimeseks aliaseks. Ta lõpetas klassi kõige paremate õpitulemustega ja 14-aastaselt sai ta stipendiumi.