Babası 1952′de bakanlıkta müsteşarlık için Ankara'ya tayin oldu. Böylece Yıldızoğlu, liseyi Kavaklıdere'de okudu. Liseden sonra ailesinin isteğiyle hukuk fakültesinde gitti ama 3. sınıfa geldiğinde okulu bıraktı.
Askerliğini 1957'de İstanbul'da yedek subay olarak yaptıktan sonra iz komiseri olan Yıldızoğlu, burada tanıştığı Türkan Suner ile evlendi. Bu evlilikten iki kızı oldu. Birkaç yıl sonra boşanan Yıldızoğlu, ayrılığın ardından Şener Şen'le birlikte Cihangir'deki bir evde 3 buçuk sene yaşadı.