Budoucímu císaři Svaté říše římské byly teprve čtyři měsíce, když jeho královská matka Eliška Přemyslovna usoudila, že malý Václav (jméno Karel přijal až později za svého desetiletého pobytu ve Francii) není po dobu nepřítomnosti krále Jana Lucemburského v nepokojných Čechách v bezpečí a následníka trůnu svěřila do ochrany Viléma Zajíce z Valdeka na pevném hradě Křivoklátě. Václav tehdy zůstal na Křivoklátě jen několik týdnů, v září roku 1316 se vrátil zpátky k matce.

Po třech letech, v roce 1320, Václav dorazil na Křivoklát podruhé – tentokrát jako vězeň svého otce. Neboť král Jan Lucemburský uvěřil fámě, kterou rozšířili jeho nepřátelé, že se královna Eliška chystá ve jménu tříletého Václava převzít vládu v Čechách, a syna od matky oddělil. Václava internoval na Křivoklátě, kde setrval víc než tři roky. Až do 4. dubna 1323, kdy se odtud společně se svým početným doprovodem vydal na dlouhou cestu do Paříže, aby tam na dvoře francouzského krále získal náležité vychování.

Přes neradostné vzpomínky Karel na Křivoklát nezanevřel. Po návratu do Čech hrad vykoupil ze zástavy a mimo jiné tu na čas ubytoval svou první ženu Blanku z Valois, která 25. května 1335 porodila na Křivoklátě dceru Markétu. Podle pověsti dal Karel po narození svého prvního potomka snést pod okna Blančiných komnat slavíky z celého okolí, aby svým zpěvem těšili Blanku v jejím šestinedělí.

Velký význam, který Karel IV. Křivoklátu přikládal, nejlépe dokumentuje návrh zákoníku Majestas Carolina, ve kterém Karel IV. zařadil Křivoklát mezi hrady, které mají navždy zůstat královským majetkem. Vysoko si cenil i křivoklátských lesů, chlouby království. Na strom, který neporazil vítr nebo neuschl, nedovolil Karel IV. sáhnout, kácení zakázal pod trestem utětí ruky.

Karlovo dětství na Křivoklátě literárně vylíčil ve svých Karlštejnských vigiliích spisovatel František Kubka. Císaři přisoudil i tuto vzpomínku: „Hrad jsem znal jen zčásti. Hrál jsem si na nádvořích, sedával u studny na nádvoří prvém, pokusil se jednou vylézt na věž na polední straně, pobíhal se svými pážaty po paláci, kde byla zbraněmi a kožišinami vyzdobená síň, kterou nazývali královskou, protože v průčelí stálo zlacené křeslo pod českým lvem. Jednou jsem si na tento trůn sedl a přikázal svým pážatům, aby poklekli a líbali mi ruku. Oba hoši tak učinili bez odmlouvání a potom se vychloubali, že se klaněli skutečnému králi. Tak prý jsem jim dovedl poručit.“