Na domácí scéně se pak Vratislav dostával do sporů se svým bratrem Jaromírem, který se toužil stát pražským arcibiskupem, což ale Vratislav nechtěl vzhledem k bratrské nevraživosti dovolit. Vratislavův odpor k sourozenci byl však natolik veliký, že král dočasně přesídlil z Hradčan na Vyšehrad, aby tak nemusel být v blízkosti svého bratra. Jediný král z Vyšehradu nakonec zemřel v roce 1092 během pádu z koně a měl být pohřben právě ve svém vyšehradském sídle. Jeho ostatky ani jeho románský palác ale nebyly doposud nalezeny. public domain