בשנת 1909 מתה אשתו הראשונה של סטלין, יקטרינה סבנידזה. מוות זה היה אבידה גדולה עבורו. לא נוטה להביע רגשות, ועוד יותר לתפניות דיבור צבעוניות, המהפכן הלא צעיר עוד דיבר על האבן הקרה שנכנסה ללבו. מי יודע איך ההיסטוריה העולמית הייתה מתפתחת אם החפץ הקפוא והקשה הזה לא היה מועך את חזהו של המנהיג העתידי של המדינה הגדולה בעולם? עם זאת, מצבי הרוח המשנה זרים למדע הזה.
מאשתו האהובה היה בנו של יעקב, רק תינוק. לאבי לא היה זמן לטפל בגידולו, היו לו דברים אחרים לעשות. הילד גדל אצל סבתו, אמו יקטרינה (קאטו) בטביליסי, ואז למד במוסקבה - תחילה בבית הספר, ואחר כך בקולג', בהנדסת חשמל. קשה לתאר את מערכת היחסים בין הבן לאב, ויש מעט מאוד חומרים המעידים עליהם. העובדות מדברות על ניסיון התאבדות לא מוצלח עקב אהבה אומללה. הירייה בחזה גינתה בכעס על ידי אביו של יעקב, הוא נמנע למעשה מהבית.
קשה לומר אם הדיקטטור הסובייטי אהב את בנו הבכור. המדינה כולה התפעלה מאומץ ליבו של סטלין, שסירב להציל את סגן בכיר ג'וגאשווילי, שנלכד ליד ויטבסק, וכמעט גזר עליו דין מוות. מצד שני, הכלשנים לאחר מות בנו, מנהיג התנועה הקומוניסטית העולמית לבש חולצת טריקו שחורה מתחת לטוניקה שלו כאות אבל, נסתר, כמו כל כך הרבה בחייו.
אשתו השנייה של סטלין, נאדז'דה סרגייבנה אלילוייבה, הייתה צעירה בחמש עשרה שנים מבעלה. בתו של מהפכן מקצועי, נשבה בדמותה של לוחמת רומנטית שחזרה מהגלות לאחר מהפכת פברואר. היא הייתה רק בת שש עשרה אז, והמזכיר הכללי לעתיד של הוועד המרכזי של המפלגה הקומוניסטית של כל האיחודים של הבולשביקים היה שלושים ושמונה.
עמדת חיים פעילה, חוסר ניסיון, נאיביות ונטייה לרומנטיקה מהפכנית הרגיזו את בעלה, בשאיפה לכוח ולעוצמה.
הצניעות האישית שלה הגיעה לקיצוניות - עמיתים וראשי ארגונים רבים שבהם עבדה נאדז'דה אלילואיבה כלל לא ידעו שהיא אשתו של סטלין. הם אפילו רצו לגרש אותה מהמפלגה ב-1921, והאשימו אותה בפסיביות ובאנרכי-סינדיקליזם (אז היה אופנתי לתלות כל מיני "איזמים" באדם), אבל בעלה קם. ונדיושה עבדה לא סתם בכל מקום, אלא במזכירות של לנין, בפרבדה ובמערכת של מהפכה ותרבות, ואף למדה באקדמיה התעשייתית. גם שם, לא המורים ולא התלמידים ידעו שאשתו של סטלין נמצאת לידם.
נולדו להם שני ילדים, הבן וסילי ב-1921, והבת סבטלנה ב-1926. הרבה יותר ידוע על חייה של המשפחה השנייה של יוסף ויסריונוביץ' מאשר על הראשון. הדבר התאפשר הודות לספר "עשרים מכתבים לחבר", שיצא לאור ב-1967 במערב. בתו של הרודן הקרמלין חשפה סודות רבים ובפירוטתיארה את חייה.
אשתו השנייה של סטלין התאבדה בנסיבות מסתוריות לאחר משתה במשפחת וורושילוב לרגל יום השנה ה-15 למהפכת אוקטובר. ליד השולחן התנהג הבעל בגסות, ואולי הדבר עורר התאבדות. היו כמה גרסאות לאירועים, ממעורבותה של נדז'דה אלילואיבה בקונספירציה אנטי-ממשלתית, ועד למיגרנות כואבות מתמשכות, אבל האמת כבר לא ידועה.
אנדרטה הוקמה על קברה של אשתו של סטלין, יפה מאוד ומלאת הבעה. בנוסף לשם, שם המשפחה והתאריכים, מצוין בו השיוך למפלגה: "חבר ב-CPSU (ב)".
