Kromě velké hlavy měl Karel velké zdravotní problémy. Trpěl nějakou sexuální dysfunkcí, kvůli které byl neplodný. Jeho slabé tělo ještě v šesti letech neumělo pořádně chodit, jeho tvář byla znetvořena pro Habsburky typickým převislým rtem a spodní část obličeje měl silně zdeformovanou, což mu způsobovalo značné potíže při mluvě i při kousání potravy. Rovněž byl tak trochu pomalejší, a i když se naučil číst a psát, komplikované problémy jeho mozek nedokázal řešit. Zároveň trpěl úzkostmi, melancholií a stihomamem. Dožil se 38 let. Luca Giordano – Neznámý, Volné dílo, https://commons.wikimedia.org/w/index.php?curid=95303