Počátky panského sídla v místech dnešního zámku lze podle archeologických nálezů datovat do konce 13. století. Původní vodní hrad byl přestavován ve 14. století za pánů z Pardubic, ale z jeho podoby lze vystopovat jen neúplné fragmenty. K další přestavbě došlo krátce po husitských válkách, kdy byl hrad obehnán novou kamennou hradbou s nárožními věžicemi a se střílnami pro ruční palné zbraně a patrně i děla.
Pernštejnská éra
V roce 1490 koupil rozlehlé kunětickohorské a rok poté i pardubické panství moravský velmož Vilém z Pernštejna, který se tehdy stal jednou z předních osobností na dvoře Vladislava Jagellonského. Za centrum moderně budovaného velkostatku Vilém zvolil do té doby málo rozvinuté Pardubice a záhy je přetvořil na českou rezidenci rodu, která Pernštejny reprezentovala a zároveň vyhovovala ekonomickým nárokům jejich aristokratického dvora. Vilém přestavěl celý areál původního hradu na palác s čtyřkřídlou dispozicí, který již vyhovoval nárokům postupně pronikajícího renesančního stylu života aristokracie. Kolem paláce a dvora s hospodářskými budovami nechal Vilém vybudovat mohutné opevnění. Tento typ stavebního objektu na tak rozlehlém areálu a v takovém stupni dochování urbanistického řešení nemá ve střední Evropě obdobu.
Unikátní opevnění
Fortifikační systém pardubického zámku představuje vrchol pozdně gotické opevňovací techniky. Tvoří jej mohutný hliněný val s nárožními rondely, na němž se dalo umístit těžké dělostřelectvo. Na úpatí jej chránila hradba se střílnami pro střelce z ručních palných zbraní. Před hradbou se nacházel široký příkop, který se mohl v případě nebezpečí zavodnit. Barbakán (tzv. Příhrádek) přiléhal k městu a se zámkem jej spojoval dlouhý původně dřevěný most (dnešní hráz s kamenným mostkem vznikla až v roce 1805).