Prins Willem en zijn vader koning Willem III waren ernstig gebrouilleerd, hetgeen uiteindelijk eindigde in een zelfgekozen ballingschap nadat de koning en de koningin de huwelijksplannen van prins Willem met gravin Mathilde van Limburg Stirum hadden afgekeurd. De 33-jarige Willem wilde toch trouwen, desnoods zonder toestemming van zijn ouders. Mathilda, die nog geen twintig was, kreeg ook geen toestemming van haar ouders. Deze geschiedenis staat niet op zichzelf.
In een eerdere periode had hij een verhouding met Helena Francisca Jacoba Johanna Rietbergen, geb. Leiden 3-1-1841, die dienstbode was. Uit die verhouding is op 20 oktober 1864 Johannes Fransiscus Jansen geboren, Helena trouwde later met een mijnheer Jansen, met wie ze een dochter kreeg.
In 1870 is Willem in het geheim in Parijs getrouwd met Agatha Barones van Lynden, telg van een oud adellijk geslacht, waar we veel namen van terug vinden in bestuur en politiek. Omdat Willem ook voor dit huwelijk geen toestemming had gekregen, had hij een verzoek tot troonsafstand gedaan en te kennen gegeven met een jaargeld van 30.000,- gulden terug te trekken uit Nederland. Zijn vader en moeder wezen dit verzoek echter hoogst ontstemd af. Uit dit huwelijk is een kind geboren, welke na de gedwongen scheiding bij pleegouders in Amsterdam is onder gebracht. Hierop komen we later terug.
Gedurende de periode van de Pruisisch-Franse oorlog (1870-1871) was hij opperbevelhebber van het Nederlandse leger. Nederland was niet direct bij de oorlog betrokken maar mobiliseerde wel het leger, net als België, en zette de Nieuwe Hollandse Waterlinie gedeeltelijk onder water. Dat ging zo moeizaam en verliep zo chaotisch dat de Minister van Oorlog, Generaal van Mulken, moest aftreden.
Nadat zijn vrouw en dochter bij hem weg waren gehaald, raakt Wiwill volledig van het pad en heeft zijn frustraties weggefeest en – gedronken. Le Prince de Citron zou regelmatig de boulevardpers halen.
Op 11 juni 1879 stierf prins Willem, 38 jaar oud, naar verluid aan een combinatie van tyfus, een leveraandoening en uitputting, hetgeen verdacht veel leek op de aandoeningen waaraan vele Oranjes en vermeende Oranjes zijn bezweken: syfilis.
Zijn jongere broer Alexander volgde hem op als Prins van Oranje.
Willem Nicolaas Alexander Frederik Karel Hendrik van Oranje Nassau , Prins de Nederlanden 1840-1879