Rond 70 n.Chr. kan de Romeinse bezetter met moeite de Bataafse Opstand neerslaan. De leider van de Batavieren steekt de stad in brand en trekt zich terug in de Betuwe. De Romeinen vestigen zich op de aanpalende Hunnerberg en Nijmegen bloeit op tot de belangrijkste stad van Nederland. 300 jaar later drijven de eerste Frankische invallen de Romeinen terug. In de 8ste eeuw bouwt Karel de Grote in Nijmegen zijn palts, zijn machtscentrum. Nijmegen wordt een Keizerstad.
Na het uitsterven van zijn Karolingische erflijn raakt de vestiging door de volgende keizers wat vergeten tot Keizer Frederik Barbarossa in de 12de eeuw op deze heuvel de Valkhofburcht in volle luister herbouwt. Die burcht ontwikkelt zich volop tot een heus complex en bloeit tot eind de 18de eeuw.
Het zijn de kanonnen van oprukkende Fransen die in 1794 de burcht quasi volledig vernielen. De heropbouw is te prijzig en zo wordt besloten ze af te breken en er een park aan te leggen, het huidige Valkhof. De stenen van de Valkhofburcht worden hergebruikt voor de bouw van huizen in o.a. Amsterdam. Van de Sint-Maartenskapel blijft enkel nog een ruïne over.
Alleen de Sint-Nicolaaskapel uit de 10de eeuw, dus van voor de bouw van de burcht, blijft overeind. Die Sint-Nicolaaskapel zou meteen het oudste stenen gebouw zijn van Nederland. Binnenin staat er een maquette van de 12de eeuwse burcht. Jammer genoeg is de kapel maar zelden geopend, meestal maar voor een tijdelijke tentoonstelling of een burgerlijk huwelijk.
In 2006 besluiten de Nijmegenaars in een referendum om de woontoren van de Valkhofburcht, de Donjon, te heropbouwen. De planvorming is echter nog gaande. Wanneer de heropbouw start is nog onbekend.