Al famosíssim Atles Català d'Abraham i Jafudà Cresques datat al 1375 es recullen onze topònims costaners de Mallorca, a més de les illes de sa Dragonera i Cabrera. La major part dels noms apareixen ja a anteriors portolans de cartògrafs genovesos com Pietro Vesconte (1313) o Angelino Dulceti (1339) i representen els accidents geogràfics més importants de l'illa als ulls dels navegants: els principals ports i els principals caps.
Així es consignen Palma (sota la forma Maiorca), Capocorb, cap de ses Salines, Portopetro, Portocolom, port de Manacor, Capdepera, Alcúdia, Formentor, Sóller i Palomera. Amb seguretat si demanàssim a un grup de persones que situassin aquests noms sobre un mapa mut el que sortiria més mal parat seria el darrer degut a que designa una contrada que fou important a l'edat mitjana, però que entrà en decliu a partir del segle XVI.
A l'època en què els Cresques elaboraven la seva obra d'art la Palomera donava nom a un rafal del terme d'Andratx i per extensió a una ampla contrada que comprenia la part occidental de la vall de s'Arracó i la vall on avui es localitza el nucli d'estiueig de Sant Elm, incloent el tram costaner que va de ses Basses del cap Fabioler fins a cala d'Egos. Aleshores era un lloc estratègic per la importància del port, el qual permetia estalviar-se la singladura fins al port de Palma. Aquest fet motivava un gran tràfic de persones i mercaderies, que arribaven a la zona pel camí de sa Palomera, precedent remot de la carretera que comunica Sant Elm amb Andratx i aquest poble amb la capital. A l'entorn del port s'hi desenvolupà una població dedicada principalment a la pesca, a la saladura de peix, a l'explotació forestal i a la ramaderia.
Del seu desenvolupament ens dona idea el que comptàs amb batle propi i que s'hi construís un edifici que avui definiríem com espai polivalent, ja que agrupava un hospital, un oratori i una fortificació. Aquest edifici, el castell de Sant Elm, ha arribat fins als nostres dies i es manté en molt bon estat de conservació. La presència del castell no evità que l'increment dels atacs corsaris a partir del segle XVI es traduís en un progressiu despoblament del lloc en favor de la veïna vall de s'Arracó, on acabà consolidant-se un nucli de població.
Pel que respecte a les etimologies, dues possibilitats. La clàssica, segons la qual es tracta d'una altra pervivència d'una paraula llatina (palumbaria) que faria relació als tudons o coloms salvatges. Es tractaria per tant d'un cas molt afí al des Colombar .
L'alternativa, que ve de la mà, com és habitual, de Galmés de Fuentes. Aquest autor deriva el nom de pal, arrel prerromànica relacionada amb grans penya-segats tallats a plom. Hipòtesi geogràficament plausible ja que al centre de la contrada trobam un "Pal", si bé dimensions més discretes que el seu germà major de Formentor. Es tracta del puig d'en Basset o puig d'en Farineta, el qual mostra al mestral un característic penya-segat que esdevé una fita important tant pels habitants de la vall com pels navegants que s'acosten a Sant Elm.
En l'actualitat el topònim només és viu en el coll que separa Sant Elm de s'Arracó, just un poc més amunt que el cementeri arraconer, conegut encara com a coll de sa Palomera.
Atles Català (1375), detall de Mallorca
Castell de Sant Elm
Puig d'en Basset o puig d'en Farineta