Prima che Alcatraz diventasse il famigerato sito che è oggi, era semplicemente un'isola rocciosa popolata da uccelli. Nel 1775, l'esploratore spagnolo Juan Manuel de Ayala mappò la baia di San Francisco e chiamò l'isola La Isla de los Alcatraces, Isola dei Pellicani. La sua posizione strategica lo rendeva un punto di avvistamento naturale, ma rimase poco sviluppato fino alla metà del XIX secolo.
Nel 1846 gli Stati Uniti acquisirono la California e nel 1850 il presidente Millard Fillmore designò Alcatraz come riserva militare. Ciò che seguì fu la trasformazione di un affioramento naturale nel sito più fortificato della costa occidentale.