Encara que avui es troba envoltada per un cordó d’edificis que pràcticament impedeix la seva visualització des de la costa, antigament l’església de Sant Antoni era la construcció més imponent de la badia de Portmany i complia una doble funció: l’atenció eclesiàstica dels habitants de la zona i proporcionar un refugi segur enfront de les incursions de pirates nord-africans, que organitzaven saquejos per la costa de l’illa per a capturar esclaus i aliments.
L’església compta amb una sòlida torre de defensa aferrada al seu absis i va arribar a estar armada amb dos canons, que van complir en diverses ocasions la seva funció defensiva, espantant amb els seus trets a l’enemic. És, per tant, l’element patrimonial més important vinculat a la protecció de la badia i els seus habitants. La construcció de la primera capella que va existir en aquest lloc i d’un cementiri va ser autoritzada per l’arquebisbe de Tarragona en 1305, davant les reiterades súpliques dels residents a causa de la inseguretat que regnava en la costa pitiusa després de la conquesta cristiana. Va ser el primer temple que es va aixecar fora de la protecció de les muralles i els propis veïns van decidir dedicar-lo a Sant Antoni.
El temple, que es va reformar i ampliar en el segle XVI, afegint-se-li la torre, de planta poligonal i amb merlets en algun dels seus costats, en el segle XVII, constitueix una veritable fortalesa, amb un sistema defensiu propi. L’entrada principal antany estava protegida per unes portes de fusta massissa cobertes per planxes de ferro, pel que sembla similars a les que encara es conserven a l’església de Sant Francesc, a Formentera. Per dins s’asseguraven amb un gruixut travesser i damunt de la portada existeix un matacán que connecta amb la teulada, des del qual es llançaven pedres i foc als enemics que s’aproximaven amb intenció de derrocar-la. A la façana també hi ha una sèrie de troneres, que permetien detonar armes de foc des de l’interior.
La torre, situada en el costat Est i elevada sobre el temple, comptava, des del segle XVII, amb dos canons de ferro colat que apuntaven a l’Oest, cap a la mar. Existeixen fins i tot documents que recullen diferents atacs, que es van repel·lir amb aquesta potent artilleria. El més documentat va tenir lloc a la fi del segle XVIII, en aproximar-se una nau enemiga. Com els artillers no encertaven i el vaixell continuava aproximant-se, va prendre les regnes de la defensa un civil anomenat Pep ‘Coix’, que va demostrar major punteria i aconseguir espantar-los. La població li va dedicar un petit romanç que ha arribat fins als nostres dies i que es recull en la museïtzació de la torre, duta a terme en 2006 amb motiu del 700 aniversari del temple i que va preparar l’historiador i professor local Marià Torres. Diu així:
“Pep Coix, mira lo que fas,
que es canó rebentarà.
– Jo sé més de tirar bales
Que no tu de menjar pa”.
Els canons es van utilitzar per última vegada en 1818, per a tractar d’enfonsar dues naus de contrabandistes gibraltarenys. En aquest procés de museïtzació es va recuperar un dels canons de la torre, que havien estat retirats en els anys 20 del segle passat, per ordre del capellà. Aquest temia que el seu excessiu pes acabés provocant esquerdes a la coberta. Aquest canó va acabar en el port, exercint com noray, i va ser recuperat durant les obres del dic dels anys 50 per un veí, Antoni Roselló, que el va utilitzar per a decorar la barra del restaurant Celler El Refugi, avui sala de festes, en el West End. En 2006 va ser retornat al seu lloc d’origen per aquesta família. Té un pes 1.360 quilos, una llargària de 2,43 metres i disparava bales de 1,81 quilos, que arribaven fins a 3 quilòmetres de distància, a l’altura de Cala Bassa. El suporta una curenya amb rodes construïda expressament per un artesà, similar a la que posseïa en el segle XVII. Aquesta infraestructura defensiva es trobava complementada per la torre d’en Rovira (segle XVIII), des d’on s’alertava de l’arribada de embarcacions enemigues.
L’església compta a més amb una part exterior coberta, el porxo, i un ampli pati on els habitants del municipi es comptaven les últimes novetats a la sortida del culte, tradició que encara avui es manté en totes les parròquies. En el seu interior poden contemplar-se els retaules dedicats a Sant Roc i a la Verge del Rosari, així com una talla de Sant Vicent Ferrer del segle XVII.