Silves var muslimernes hovedstad og havde Algarves største borg. Den var et center for maurisk kultur. Men i 1189 dukkede 50 skibe op på kysten med ca 10.000 korstogsriddere fra Danmark og de frisiske øer. De indtog borgen, dræbte indbyggerne og jævnede byen med jorden. Senere  drog de videre mod Orienten, hvor de selv blev udslettet, og den røde borg i Silves blev igen indtagtet af maurerne, indtil de kristne igen overtog den den i 1242. Det var maurernes sidste bastion i Portugal.

I 1800 blev den centrum for kork eksporten, men i dag er den blevet byen med Portugals største arbejdsløshed.

I nærheden af Silves ligger der en lille klump bjerge, Monchique, der rejser sig op til 900 m over det flade landskab, de får Atlanterhavets vinde til at afgive regn, hvorved de står frodige med rhododendron, eukalyptus og egeskove mens Alentejos bagvedliggende landskab mangler vand.
De grønne bakker kan ses fra havet og, der er eksempler på, at de har virket som en slags fyrtårn og har reddet skibe fra at gå på grund på den barske sydkyst.