Расположен на окраине города Лондона.
Замок был построен в конце XII в. и первоначально включал в себя только дозорную башню. В начале XIII в. Чиллингхэм перешел в собственность семьи Грэй. В 1298 г., во время кампании против Уильяма Уоллеса, замок посетил король Эдуард I Длинноногий. Он ночевал на последнем уровне башни, в помещении, где специально для короля сделали в стенах окна. С тех пор это помещение носит название Комната Эдуарда I.
Как и все весьма старинный замки, этот имеет своих призраков.
Самый известный призрак — Голубой (или сияющий) мальчик. Рассказывают, что ночью в Розовой комнате замка раздаются громкие вопли и появляется голубое свечение над кроватью или одетый в голубые одежды мальчик. Подтверждением этих рассказов стал найденный в замке склеп — во время ремонта в стене обнаружили истлевшие скелеты взрослого мужчины и маленького мальчика. Вероятно они были замурованы заживо, так как на внутренней стене склепа четко видны оставленные пленниками царапины.
Другой знаменитый призрак — дух Леди Мэри Беркли, который, как рассказывают, часто появляется из своего портрета в Серой комнате. По легенде муж Леди Мэри ушел к ее сестре, оставив жену страдать в одиночестве в замке.