Castle Rock werd ongeveer 350 miljoen jaar geleden gevormd toen vulkanische activiteit verhard magma onder het oppervlak achterliet. In de loop der tijd werd zachter gesteente door erosie weggesleten, waardoor de harde dolerietplug boven de stad uitstak en een verdedigingsplaats ontstond die kolonisten aantrok.



