В семинарии постоянно возникали конфликты между преподавателями и учащимися из‑за того, что многие книги, которые приносили семинаристы, считались запрещенными. Этих конфликтов не избежал и Иосиф Джугашвили, поскольку много читал, регулярно посещал городскую библиотеку. Начиная с 1896 г., он получал за чтение книг то выговор, то наказание продолжительным карцером. С ноября 1896 г. по март 1897 г. Джугашвили, рапортовал помощник инспектора семинарии, «в чтении книг из «Дешевой библиотеки» замечается уже в тринадцатый раз».
Уже в то время Иосиф Джугашвили читал произведения Щедрина, Гоголя, Чехова, любил Толстого. Был знаком с творениями Теккерея, Гюго, Бальзака.
Наряду с художественной литературой читал научные книги, например, «Сущность христианства» Фейербаха, «Историю цивилизации в Англии» Бокля, «Этику» Спинозы, «Основы химии» Менделеева. Познакомился с «Капиталом» Маркса. А под влиянием труда Дарвина «Происхождение человека и половой отбор» стал атеистом.
Упрямый по характеру Иосиф Джугашвили часто спорил с товарищами по семинарии о художественных произведениях, по общественным и научным проблемам. В дискуссиях отстаивал свою точку зрения. Возненавидел социальное неравенство: сверстники из богатых семей имели большие возможности для образования.
По настоянию двух своих знакомых, Саши Цулукидзе и Ладо Кецховели, Иосиф Джугашвили начинает систематически читать социалистическую марксистскую литературу. В 1897 г. он становится членом тайного марксистского кружка, действовавшего в духовной семинарии. В 1898 г. Джугашвили вступает в грузинскую социал‑демократическую организацию «Месами‑даси». Тогда же начинает руководить рабочим марксистским кружком в Главных тифлисских железнодорожных мастерских. Вспоминая рабочих железнодорожных мастерских, Сталин в 1926 г. писал, что здесь «получил первые уроки практической работы. В сравнении с этими товарищами я был тогда молодым человеком. Может быть, я был тогда немного больше начитан, чем многие из этих товарищей, но как практический работник я был тогда, безусловно, начинающим. Здесь, в кругу этих товарищей, я получил тогда первое свое боевое революционное крещение… моими первыми учителями были тифлисские рабочие».
Весной 1899 г. молодой Джугашвили более углубленно стал изучать произведения Маркса, Энгельса, Плеханова, Каутского, Лафарга, русских революционных демократов, а позднее и работы Ленина. Все активнее включается в революционную деятельность. В результате был исключен из семинарии, как сам говорил, его «вышибли из семинарии за пропаганду марксизма».