布里斯托尔城堡建在城墙城镇东侧的一个战略要地上，位于南部的埃文河和北部的弗罗姆河之间，东侧有一条运河相连，形成城堡的护城河；北侧有一个堰以补偿两条河流的水位差异。

由于布里斯托尔镇本身建在这两条河流的交汇角，有了护城河，就意味着城镇和城堡完全被水包围，因此具有很高的防御能力。

在布里斯托尔建造的第一座城堡是一座木制的城寨城堡，大概是征服者英格兰国王威廉一世命令建造的，他将布里斯托尔的庄园包括在王室领地内，由最亲密的盟友之一库唐斯主教若弗鲁瓦·德·蒙布雷以他的名义控制，因为1086年的《末日审判书》记载他从该区获得了国王的部分收入。

现有最早的提及布里斯托尔城堡的记录在1088年，当时威一已经驾崩，若弗鲁瓦据城反抗新国王威廉二世。

但是，叛乱失败了，威二没收叛军土地，重新分配给自己的忠臣们，其中一人叫罗伯特·菲茨哈蒙，获得了格洛斯特郡的大片土地，其中就包括布里斯托尔城堡，有了自己的封国。

他只有两个女儿，长女玛贝尔就成为了继承人。威二的弟弟亨利一世登基后，其私生长子罗伯特娶了玛贝尔，因此在1107年岳父死后成为了新的第一代格洛斯特伯爵。

1135年亨一驾崩后，外甥斯蒂芬宣布继位，亨一的嫡女也是指定继承人马蒂尔达当然十分不满。一格作为先王之子，起初有心自立，后又支持斯蒂芬，但最终选择了支持自己的手足，并且为妹妹带兵。

这样，他名下的布里斯托尔城堡就成为了支持马蒂尔达的重要据点。

作为直接利益相关人，斯蒂芬于1138年侦察了布里斯托尔，觉得其坚不可摧。正如他的编年史家所报道：“在它的一侧，它被认为更容易被围困，更容易接近，一座城堡矗立在一个巨大的土堆上，由墙壁和城垛、塔楼和潜水引擎加固，可以防止敌人的接近。”

1141年，他甚至亲自体验了一回，因为他兵败被俘后就被关在这里；好在他也叫马蒂尔达的王后还能继续带队战斗，抓了一格，把他换了出来。

一格在位期间，大大增加了城堡的外部防御工事，并重建了内部。

这场表兄妹内战的结局是斯蒂芬因为丧妻和心力交瘁失去了斗志，最后双方达成协议，斯蒂芬死后，王位由马蒂尔达的儿子亨利继承，即金雀花王朝开国之君亨利二世国王。

这时候，一格已经去世，由儿子威廉继位为第二代格洛斯特伯爵。不过这位不能守家，1173年国王的三个年长儿子幼王亨利、理查、若弗鲁瓦结盟造老子的反时，二格作为王子们的表伯虽然支持国王，但还是受到了国王的怀疑，次年乱平后，再次年，他把布里斯托尔城堡上交了国家，该堡再次成为王室财产。

二格唯一的儿子早早死了，他自己尚有三女。或许为了示好，他提出让唯一没有领地可以继承的王子约翰做自己的继承人，只要约翰做他的女婿；约翰娶了二格的小女儿伊莎贝尔，这样为了确保约翰继承岳父家爵位，伊莎贝尔就越过姐姐们被指定为继承人了。

不过亨二似乎并没有因此感动，后来他还是在和儿子们斗法期间，因为疑心逮捕了二格，无关内容这里就不展开了；1183年二格去世后，亨二就宣布伊莎贝尔是唯一继承人，自己是监护人，以此为由接管了格洛斯特的一切。

因为幼王早就没了，1189年，理查继位为理查一世，伊莎贝尔也得以和约翰结婚，约翰就成为了新的格洛斯特伯爵；1199年理查驾崩后，约翰继位，很快以近亲为由离婚，再不是老伯爵的姑爷了，就让伊莎贝尔的姐姐们的后代袭封了。

后来布里斯托尔城堡又成为了约翰的继承人亨利三世少年时的受教育之所。亨三年幼登基，后来花了很多钱翻新该城堡，在西门前加了一座瓮城，还加了一座门塔和宏伟的大厅。

没多久，他的翻修就体现出实在的价值了，虽然并非初衷——

他的堂姐、上述已故若弗鲁瓦王子的女儿布列塔尼的埃莉诺本来因为身份敏感被关在虽然也坚固但靠海的科夫城堡，但有了把她偷渡到法国的阴谋传言后，她就被转移到内陆，最终在1224年被转移到布里斯托尔城堡。

即使如前所述城堡已经比较坚固，有人（摄政休伯特·伯格？）犹嫌不足：1225年，城堡有了修门锁的记录，随后又有了买门钥匙和塔楼钥匙的记录；1227年的记录显示埃莉诺的房门钥匙被工作人员保管，而且无缝交接；与此同时，巴思主教韦尔斯的乔斯林也签发命令给城堡增派人手。

这意味着在一些特殊的时期，埃莉诺不仅很可能被关在塔楼上，甚至可能连自己的卧室都出不去；看守对她贴身监视，而且频繁更换；隔三岔五就会有人确认她还在不在。

再加上这时候布里斯托尔城堡的领主格洛斯特伯爵分别是二格的次女阿米斯的儿子吉尔伯特·克莱尔及其子理查，正是亨三已故摄政的女婿和外孙，城堡的管家又是国王的亲信而且甚至由休伯特亲自担任过，埃莉诺直到1241年去世都没能逃脱，是不能还是日子太好过了不想呢，相信看官们会有自己的判断。

如果说亨三尚且不敢虐待堂姐，甚至还乐意给她创造一些户外活动及社交、露面的机会，那么对敌对势力，英王们就可以说有恃无恐、为所欲为、只有更残忍了。

1283年，亨三的继承人爱德华一世征服威尔士，俘杀圭内斯王朝亲王大卫，并俘虏大卫的两个儿子卢埃林和欧文，关押在布里斯托尔城堡。1287年卢埃林就死了，欧文则一直被关押到大约1325年去世。

这其中的恐怖之处其实不在于欧文去世时已经是五旬老汉，而在于1305年爱一曾经下令城堡管家加强对欧文的看守，连具体措施都有：从速建造一间牢固的房子，并在房子里做一个用铁捆起来的木笼，晚上把欧文关在里面防止他逃脱。

而有的人连活着都是奢望——1399年亨利四世政变夺位后，在登基之前以原本赫里福德公爵的身份在布里斯托尔城堡未经审判就处决了多名反对者。

1540年古董商约翰·利兰参观布里斯托尔城堡时，称其有“两个庭院，在外庭院的西北部有一个带地牢的大城堡……在另一个庭院里有一座迷人的教堂和许多住宅区，南侧有一扇大门，左岸有一座石桥和三座城墙，通往弗罗姆河口。两个庭院里还有许多塔楼，但它们都濒临倒塌”。

这时候城堡还仅仅是有废弃之相，只因城市当局无法控制王室财产，出现了管理真空，城堡成了违法者的避难所。

1630年，布里斯托尔市买下了城堡；内战爆发时，布市支持议会，并部分修复了城堡，然而还是被保王党攻占，1645年被议会军收复后，当时的领袖也是后来的护国公奥利弗·克伦威尔下令摧毁。根据米勒德的布里斯托尔地图，城堡于1656年被拆除；有一座八角塔幸存到1927年，也被拆除。

城堡护城河于1847年被覆盖，但仍然存在。西段是一条干涸的沟渠；圣彼得教堂附近有一个通往护城河的出口。城堡西南部下方有一条16米（52英尺）长的后隧道。

1907年，塞缪尔·洛克斯顿绘制了城堡的草图。如今，当初的城堡拱顶仍有一些宴会厅的遗迹，城堡的拱形房间是一座在册古迹；1938年，城堡金库被用作烟草店。

城堡地区被重新开发为商业区，后来在1940–1941年间的布里斯托尔大轰炸中大部分被毁。随后，它被重新开发为公共开放空间、城堡公园。

原来的护城河仍然可供船只航行，从城堡公园下流入浮港。

从古迹中无法还原的历史，只能从图文中还原了。