羅馬帝國征服。西羅馬帝國滅亡後，部分哥特人和當地伊比利亞人和摩爾人（主要是腓尼基人後代）爭奪此地。公元8世紀，阿拉伯人入侵伊比利亞半島時從直布羅陀登陸，直布羅陀成為北非信奉伊斯蘭教的摩爾人侵略歐洲的踏腳石。一部摩爾人在伊比利亞半島南部（包括了直布羅陀半島），成立了若干小國並接受基督教和伊斯蘭教共存，在十一至十五世紀時西班牙和葡萄牙人抗擊要統一信仰的北非穆斯林侵略時，和一部分混血和信奉伊斯蘭但寬容基督教的歐洲摩爾人聯手，驅逐侵略者。1410年直布羅陀被西班牙人收復，1501年正式納入西班牙版圖。西班牙國勢強盛後，西班牙對直布羅陀地區信奉伊斯蘭教的摩爾人採取驅逐或強逼改宗的政策，而很多人即使改宗後仍被逼遷到北非的摩洛哥。

西班牙國王卡洛斯二世無嗣，囑由法國波旁王族繼承西王位。1700年卡洛斯二世死後，法國王路易十四之孫菲力普被宣佈為西國王。但卡洛斯二世的外甥、奧地利查理大公按哈布斯堡王族的血緣關係也要求繼承王位。由此引震1701年西班牙王位繼承戰爭。英國和荷蘭支援查理大公，其聯軍於1704年攻佔直布羅陀，並建立軍事要塞。1713年交戰雙方簽訂烏德勒支和約，承認了菲力普的西班牙國王地位，但作換條件，直布羅陀被割讓給英國。英佔直布羅陀後，驅逐了原有的西班牙居民，從外地大量移民，不少義大利人和英國人也開始遷入，部分摩洛哥人也回流充