Castle Rock blev dannet for omkring 350 millioner år siden, da vulkansk aktivitet efterlod hærdet magma under overfladen. Med tiden fjernede erosionen den blødere klippe, så den hårde diabasprop rejste sig over byen og skabte et forsvarsværk, der tiltrak nybyggere.



