کتاب «جویس مینارد» درباره‌ی «سلینجر» سر و صداهای زیادی در آمریکا به پا کرد. خیلی‌ها هم با این کار او مخالفت کردند و حتی «سن فرانسیسکو کرانیکل» مینارد را آدم «بی‌شرمی» خواند. با این همه، «جویس مینارد» در یکی از نوشته‌های شخصی در سایت اینترنتی‌اش می‌نویسد: «من واقعا تعجب می‌کنم! چرا آدم‌ها در مقابل کسی که از یک دختر هجده ساله خواسته تمام زندگی‌اش را رها کند و بیاید با او زندگی کند و قول داده برای همیشه عاشق‌اش بماند و به معنای تمامی کلمه او را استثمار کرده، این طور واکنش نشان می‌دهند و انتظار دارند که آدم داستان زندگی خودش را هم ننویسد. نمی‌شود چنین استثماری را نادیده گرفت. فرض کنید کسی با دختر خود شما چنین کاری بکند. جدای تمام احترامی که برای این مرد قائلم اما واقعا اگر دختر شما به جای من بود، دهن‌تان را می‌بستید و چیزی نمی‌گفتید؟»
اما «جویس مینارد» تنها یکی از زن‌های زندگی «جی.دی. سلینجر» است. حتی بعضی از منتفدان ادبی حدس می‌زنند که این همه انزوا طلبی و گوشه‌نشینی «سلینجر» به خاطر همین زن‌های زندگی اوست و صد البته شکست عشقی او در جوانی. زن‌ها و البته دخترهای جوان نیز در داستان‌های سلینجر نقش زیادی دارند. «ازمه»ی داستان «تقدیم به ازمه با عشق و نکبت» [دلتنگی‌های نقاش خیابان چهل و هشتم] و «لئا»ی داستان «دختری که می‌شناختم» [نغمه‌ی غمگین ترجمه‌ی بابک تبرایی] و «باربارا»ی داستان «دخترکی در سال ۱۹۴۱ که اصلا کمر نداشت» [نغمه‌ی غمگین ترجمه‌ی امیر امجد] و «فیبی» داستان «ناتوردشت» [ترجمه‌ی محمد نجفی] و «فرنی» داستان «فرنی و زویی» [ترجمه‌ی امید نیک‌فرجام] نمونه‌هایی از این‌هاست.
«جی.دی. سلینجر» اولین بار در سال ۱۹۴۱ عاشق شد. آن هم عاشق «اُنا اونیل» دختر نمایشنامه‌نویس معروف «اوژن اونیل». «گاردین» در این باره می‌نویسد: «گفته می‌شود که وقتی سلینجر در سال ۱۹۴۲ وارد ارتش شد، هر روز برای «اُنا» نامه می‌نوشت. اما وقتی «سلینجر» برای خدمت مجبور شد عازم ارویا شود، «اونیل» علارغم اختلاف ۳۶ سالهی سنی با «چارلی چاپلین» ازدواج کرد و همین موضوع باعث شد که «سلینجر» تا به امروز همیشه به صنعت سینما با چشم رشک و حسد نگاه کند.» «سلینجر» همینطور در «ناتوردشت» می‌نویسد: «اگر یک چیز در دنیا وجود داشته باشد که ازش متنفر باشم، آن چیز فیلم است. اسم‌اش را جلوی من نیاورید.»
شکست عشقی «سلینجر» در بیست و دو سالگی و عشق‌اش به «اُنا»ی شانزده ساله، ضربه‌ی شدیدی را به «سلینجر» وارد کرد. این دو اولین بار در تابستان سال ۱۹۴۱ همدیگر را دیدند. یکی از دوستان «اونیل» درباره‌ی این رابطه می‌گوید: «اُنا دختر ساکتی بود اما زیبایی خیره‌کننده‌ای داشت. نمی‌شد چشم از او برداشت و سلینجر هم در همان نگاه اول عاشق او شد. عاشق زیبایی او شد و از این‌که دختر اوژن اونیل معروف هم بود، تحت تاثیر قرار گرفت. وقتی به نیویورک برگشتند، تقریبا هر روز همدیگر را می‌دیدند.»
با این حال، «سلینجر» وارد ارتش شد و در جنگ جهانی دوم شرکت کرد. در این بین، با حمله‌های عصبی زیادی روبرو شد و با پزشک فرانسوی‌ای به نام «سیلویا» آشنا شد. این دو در سال ۱۹۴۵ ازدواج کردند و مدت کمی در آلمان ساکن شدند اما زندگی مشترک‌اشان به خاطر دلایل نامعلومی از بین رفت و «سیلویا» سلینجر را ترک کرد و به فرانسه بازگشت و به زندگی هشت ماهه‌ی مشترک‌اشان خاتمه داد. سال‌ها بعد در سال ۱۹۷۲ «سلینجر» نامه‌ای از «سیلویا» دریافت کرد که در خاطرات «مارگارت» دختر «سلینجر» به آن اشاره شده و او در این باره می‌گوید: «پدرم به پاکت نامه نگاه کرد و بدون آنکه آن را باز کند و بخواند، پاره‌اش کرد. پدرم اگر ارتباط‌اش را با کسی تمام کند، واقعا تمام می‌کند و بازگشتی در میان نیست.»
وقتی جنگ تمام شد و «سلینجر» به ایالات متحده بازگشت، به نویسندگی روی آورد و آن را جدی ادامه داد تا آنکه در سال ۱۹۵۴ و در مهمانی‌ای در «کمبریج» با «کلر داگلاس» دختر یکی از منتقدان هنری معروف بریتانیایی آشنا شد. «کلر» دختر نوزده سالهی شادابی بود و کم‌کم با او رفت و آمد کرد و در این بین «فرنی» خانواده‌ی «گلس» داستان‌های «سلینجر» با الگویی از «کلر» شکل گرفت. «فرنی» بیشتر از هر کس دیگری با «کلر داگلاس» شباهت دارد به خصوص که کتاب «سلوک زائر» که در داستان فرنی مجموعه‌ی «فرنی و زویی» [ترجمه‌ی امید نیک‌فرجام] نیز ازش نام‌برده می‌شود در میان کتا‌ب‌هایی بوده که «کلر» واقعا آن را خوانده است.
این دو سپس در سال ۱۹۵۵ و در سی و شش سالگی «سلینجر» با هم ازدواج کردند و حاصل این ازدواج تولد «مارگارت» و «متیو» در سال‌های ۱۹۵۵ و ۱۹۶۰ است. از دیگر زن‌های زندگی «سلینجر» یکی همین «مارگارت» است که تصمیم به انتشار کتاب خاطراتش کرد و خشم پدر را به جان خرید و کتابی با عنوان «ناتور رویا» منتشر کرد. با ازدواج «کلر داگلاس» و «جی.دی. سلینجر» این دو زوج به «یوگا» علاقه‌مند شدند و در یک معبد هندی در واشنگتن دوره دیدند. در همین ایام «سلینجر» و «کلر» روزانه دو مرتبه و هر بار به مدت ده دقیقه تمرین تنفس یوگا می‌کردند.