In origine il Castello di Gioia del Colle, di epoca bizantina, si limitava ad un cortile recintato, utile alla popolazione per difendersi dalle scorrerie saracene; solo in un secondo momento, Ruggero Siniscalco nel XII secolo si occupò di ingrandire il cortile e di trasformare la struttura in una residenza fortificata nobiliare.
Fu Federico II che intorno al 1230 ampliò il nucleo centrale a base quadrata con quattro torri angolari inserendolo in un sistema castellare noto alle città di Trani, Barletta, Bari e così sempre più a sud fino alla Sicilia.
Secondo la leggenda Re Manfredi, figlio di Federico II e Bianca Lancia, nacque in questo castello. Dopo l'ingiusta accusa di tradimento rivolta verso Bianca Lancia dall'Imperatore, la donna si recise i seni e li fece servire a Federico II su un piatto d'argento. Da qui si riconducono i seni scolpiti nella cella della "torre della regina" in ricordo di tale evento. Nelle sale del primo piano vi sono elementi d'arredo come camini e sedili sistemati a seguito del restauro del 1907.
Nel cortile spicca la scalinata decorata da bassorilievi con scene di animali e di caccia: in parte è una ricostruzione del "Pantaleo" insieme alle finestre bifore e trifore che affacciano nel medesimo cortile.
Successivamente la proprietà passò ai Principi di Taranto fino al 400, ai Conti di Conversano fino al 600 e ai Principi di Acquaviva fino agli inizi dell'800 .
Attualmente il Castello ospita il Museo Nazionale Archeologico che si sviluppa su due livelli e presenta al visitatore la tematica del "Vivere in città nella Puglia antica" nelle sezioni della casa, il lavoro della donna, degli uomini, il lavoro nella vita quotidiana e dei giochi dei bambini. I reperti esposti hanno una datazione che va dal VII al III secolo a.C. e sono proprio elementi che permettono di visionare lo stile di vita e le ideologie dell'epoca: di uso cultuale e funerario con ceramiche di fattura di alto livello sia di produzione locale che di importazione dalla città di Taranto. Ci sono tutti i prodotti ceramici ad uso domestico e strumentazioni da lavoro e non solo, non mancano elementi architettonici policromi rinvenuti durante gli scavi presso l'area archeologica di Monte Sannace.
È esposta, inoltre, un'armatura completa del IV secolo a.C. con elmo, corazza e gambali, altre armi in ferro con cinturoni ed elmi singoli di rara manifattura.