Cawdor se nalazi oko 20 kilometara istočno od Invernessa, u istočnom središtu Škotskih visoravni. Ovaj dvorac iz 14. vijeka je započet kao kula. Zid, gornji spratovi i masivna željezna kapija dograđeni su u periodu od 1454.-1455.
Čelična kapija je donesena iz obližnjeg dvorca Lochindorb oko 1455. godine, kada je škotski državni savjet naredio Thaneu od Cawdora da razmontira Lochindorb nakon što je bio oduzet od Earla od Moraya. Strelišta su dograđena u 16. i 17. vijeku.
Prvi Thanes od Cawdora je imenovan 1236. od strane Aleksandra II. Trećeg Thanesa je ubio Sir Alexander Rait, iz obližnjeg dvorca Rait. Clan Campbell je preuzeo kontrolu nad utvrđenjem zatočivši 12-godisnju nasljednicu 1511. i udavši je za sina Grofa od Argylla. Campbelli su zadržali dvorac odupirući se Lordu Loretu za vrijeme ustanka Jakubita 1746. godine.
Cawdor ima tri vrta. Prvi je Walled Garden, koji je najstariji i datira iz 1600. a kasnije postaje bašta za bankete. Flower Garden je zasađen nekih 100 godina poslije i bio je namjenjen za kasno ljeto i jesen. Zbog raznovrsnih biljnih vrsta bašta je bila interesantna i u rano proljeće. Wild Garden je najmlađi, a zasađen je 1960.
Prema legendi jednog dana Thane od Cawdora je natovario magarca zlatom i putovao sa njim po selima, govoreći da gdje god magarac legne da se odmori, na tom mjestu će on podići dvorac. Magarac je legao pored nekog drveta i Thane je podigao dvorac oko tog drveta, za koje se misli da je bio glog koji je uvenuo 1372. godine.
Vjeruje se da su dva duha nastanjena u ovom zdanju. Jedan je duh plave dame u plavoj somotnoj haljini, a za drugog se vjeruje da je John Campbell, prvi Lord od Cawdora.