Podle vědců z Karlovy univerzity byl Karel IV. 173 cm vysoký muž atletické postavy, který byl dobře trénovaný a rozhodně se podle historiků nevyhýbal rytířským soubojům. Ve tváři asi úplně krásný nebyl, minimálně ji měl zjizvenou. Na šarmu mu to pravděpodobně neubíralo, velmi si zakládal na svém vzdělání. Takže se můžeme celkem správně domnívat, že měl svým 4 manželkám, které se vedle něj za jeho života postupně vystřídaly, co nabídnout, a že se s ním nenudily. A proč jich měl tolik? Ne, nezapudil je… Ony mu prostě umřely. Přežila ho jen ta poslední, čtvrtá.
Blanka z Valois – sedmiletá nevěsta
Tato česká a římskoněmecká královna a moravská markraběnka byla Karlovou první ženou. Vyrůstala na francouzském dvoře svého bratrance Karla IV. Sličného. S českým korunním princem Václavem, později Karlem IV., byla zasnoubena v dětském věku a ke sňatku došlo, když jí bylo pouhých 7 let. Ke svatbě musel dát souhlas papež Jan XXII. Svatební obřad proběhl současně s korunovací Karlovy tety Marie na francouzskou královnu. Dětští manželé byli pak ale znovu rozděleni.
Karel se po svém návratu do Čech vrhl mimo jiné na rekonstrukci paláce na Pražském hradě. Nečekal ale na její konec a svoji manželku povolal do Prahy hned, jak to bylo alespoň trochu možné. Blanku a její francouzský doprovod tak Pražané uvítali 12. června 1334. Dojmy byly rozpačité. Blanka sice oslnila svým zjevem, ale zaskočila jazykovou nevybaveností – mluvila jen francouzsky, stejně tak jako valná většina jejích dvořanů. A tak je v rámci zachování klidu poslal Karel zpět do Francie. Blanka zůstala. Sice se posléze musela na nátlak svého tchána Jana Lucembruského stěhovat do Brna, ale nic to neměnilo na tom, že z původně politického svazku vzniklo plnohodnotné manželství, ze kterého vzešly 2 dcery – Markéta a Kateřina. Blanka z Valois byla 2. 9. 1947 korunována českou královnou. Nebyla jí ale dlouho, již 1. 8. 1348 zemřela po krátké nemoci. Bylo jí pouhých 32 let a pro Karla to byla citelná ztráta. Neměl však mužského potomka a tak další manželství na sebe nedalo dlouho čekat.
Anna Falcká – ta, o které se moc neví
Druhou manželkou Karla IV. se stala dcera rýnského falckraběte Rudolfa II. a Anny Korutanské (Tyrolské). O jejím dětství toho moc nevíme. Celkově se může zdát, že tato šlechtična byla ze všech Karlových žen nejméně výrazná. My se domníváme, že si toto smýšlení nezaslouží, protože ambicióznímu Lucemburkovi rozhodně hodně pomohla. Sňatek byl ze strany Karla totiž dokonalým politickým tahem, který posílil jeho pozici. Díky tomuto spojení připojil Horní Falc (Nové Čechy) k zemím Koruny české. Svatba s Annou se konala 4. 3. 1349 ve městě Bacharachu. Anna se stala v červenci téhož roku římskou královnou. Královnou českou pak byla korunovaná ve svatovítské katedrále také v roce 1349, ale až 1. 11. A byla to právě ona, která dala 17. ledna 1350 Karlovi vytouženého syna Václava. Ten však bohužel ve věku necelých dvou let, 28. prosince 1351, zemřel. Jeho matka ho o moc dlouho nepřežila. Zemřela v Praze v únoru 1353 ve věku čtyřiadvaceti let. Karel IV. se tak v pouhých 37 letech stal podruhé vdovcem a stále bez syna.
Anna Svídnická – ze snachy manželkou
Za svoji třetí choť pojal Karel poměrně rychle jedinou dceru svídnického knížete Jindřicha II. Svídnického a uherské princezny Kateřiny, Annu. Přitom s Annou měl původně v plánu oženit svého zemřelého syna Václava. Karlovi by tehdy rozhodně nevadilo, že Anna byla starší než jeho potomek. Když se Václav narodil, jí bylo 11. Když ovšem Karel o syna přišel a později skonala i jeho tehdejší manželka Anna Falcká, začal se ucházet o Annu sám. Annin strýc, svídnicko-javorský vévoda Boleslav II. z manželství totiž neměl děti a Anna tak byla jeho dědičkou. Toto naplánované spojení bylo součástí strategie, kterou nastolil již Karlův otec Jan Lucemburský - získat pro českého krále kontrolu nad piastovskými slezskými knížectvími. Ke slavné svatbě Karla a Anny Svídnické došlo pravděpodobně v červnu 1353 v Budíně. O přesné datum se historikové trochu přou. Ale sňatek se nakonec vyplatil. Právě díky němu Karel k zemím Koruny české připojil Horní a Dolní Lužici. Z mladičké Anny se postupně díky manželství stala česká královna a římská královna a římská císařovna.
Třetí manželka porodila Karlu IV. dvě děti. V roce 1358 se manželům narodila dcera Alžběta a o 3 roky později, 26. února 1361, na císařském hradě v Norimberku syn Václav, který se později stal králem jako Václav IV. Karel se tak konečně dočkal syna a dědice. Manželé spolu čekali ještě třetího potomka. Právě jeho porod se stal Anně Svídnické osudným. Dne 11. července 1362 královna zemřela a s ní i bezejmenný potomek - syn. Ani ona se nedožila žádného vysokého věku. Zemřela ve svých třiadvaceti.
Alžběta Pomořanská – žena, co lámala meče
Alžběta Pomořanská, které císař Karel IV. často říkal Eliška a dost lidí ji tedy zná pod tímto jménem, byla čtvrtá a také poslední manželka Karla IV. Tato česká královna a římská byla císařovna, dcera pomořanského vévody Bogislava V. a Alžběty Polské, dcery polského krále Kazimíra III. Velikého. Po smrti Anny Svídnické císař dlouho netruchlil a ke svatbě došlo necelý rok po smrti jeho předchozí ženy. I k tomuto sňatku vedly Karla politické důvody a žádná romantika. Chtěl se zbavit své opozice. Mezi dvojicí byl poměrně značný věkový rozdíl. Císaři bylo již čtyřicet sedm let a jeho nevěstě pouhých šestnáct. Alžběta je popisovaná jako urostlá, silná žena, která kypěla zdravím a sebevědomím. Mezi její vlastnosti patřila také ráznost a cílevědomost. A podle dávných pověstí měla dokonce lámat meče. Na jedno ale sílu neměla. Nedokázala prolomit svoji zatvrzelost nebo chcete-li zášť vůči Karlovým dětem z předchozích manželství. Trnem v oku jí byl především prvorozený Václav.
V čem ale měla Alžběta oproti svým předchůdkyním jednoznačně navrch, tak v tom, že dokázala svému choti porodit celkem šest dětí. Dceru Annu (pozdější anglickou královnu), syna Zikmunda (pozdějšího uherského, římského, českého a lombardského krále a římského císaře, kterému se přezdívalo „Liška ryšavá“), syna Jana, který nosil jméno po svém dědovi Janu Lucemburském, syna Karla, ten ale záhy zemřel, dceru Markétu, která měla jméno na památku Karlovy babičky. Poslední byl syn Jindřich, který si svého otce moc neužil, protože se narodil pouhý rok před jeho smrtí.
I toto Karlovo manželství bylo pravděpodobně harmonické. Jejich vztah se stal navíc vděčným námětem různých uměleckých děl, jako je například divadelní hra Jaroslava Vrchlického Noc na Karlštejně, podle které natočil Zdeněk Podskalský dnes již legendární stejnojmenný muzikál s Janou Brejchovou jako Eliškou a Vlastimilem Brodským coby Karlem IV.
Alžběta Pomořanská svého milovaného manžela přežila o dlouhých patnáct let. Zemřela v ústraní ve městě českých královen Hradci Králové 14. února 1393.
Všechna manželství slavného císaře dnes historici hodnotí jako spokojená a naplněná. Koneckonců všechny manželky Karla IV. našly jako místo pro svůj poslední odpočinek královskou hrobku v katedrále sv. Víta na Pražském hradě. Jejich ostatky jsou uložené po boku jejich milovaného manžela, který se navždy zapsal do dějin, a to nejen těch českých.