U sredini mjesta Jelsa nalazi se Pjaca, koja je nastajala od 16. do početka 20. stoljeća. Na zapadnoj strani trga nalazi se izvor pitke vode Slatina i potočić kojim voda otječe u more. Na sredini trga 1934. godine sagrađena je fontana. Danas je trg prepun kafića i restorana, dućana, slastičarnica i mjesto je okupljanja i domaćih i turista. 

Župna crkva sv. Fabijana i Sebastijana spominje se u Hvarskom statutu (1331.) kao Santa Maria di Ielsa, no nije poznato kada je promijenila titulara. Crkva se širi u 15. stoljeću na tri broda. Zbog opasnosti od Turaka 1535. godine dobiva oblik tvrđave, a 1573. godine naknadno je fortificirana. Krajem 19. stoljeća crkva je temeljno obnovljena i dograđen je novi zvonik. Crkva ima četiri kapele: dvije veće iz 17. stoljeća i dvije manje iz 19. stoljeća.Između crkve/tvrđave i obrambenog zida nalazi se Lapidarij. Centar za kulturu otoka Hvara 1970. godine u taj prostor smješta dvadesetak kamenih predmeta iz antičkog i srednjovjekovnog doba. Među njima su: nadgrobna ploča iz rimskog razdoblja, reljef Nikole Firentinca iz 15. stoljeća, mletački lav, kameni stol viteza Ivana Obradića.

Spomenik je znak počasti i zahvalnosti svima koji su kroz stoljeća sudjelovali u toj tradicionalnoj pokorničkoj procesiji. Tradicionalna pokornička procesija „Za križen”  pobožnost je koja se održava u noći s Velikoga četvrtka na Veliki petak i obuhvaća šest župa. Prvi zapis o procesiji „Za križen” nalazimo u vizitaciji biskupa Milania iz 1658. godine. Od 2009. godine ta je pobožnost uvrštena na UNESCO-ov popis nematerijalne svjetske baštine u Europi.Spomenik križonoši rad je istaknutog suvremenog kipara Kuzme Kovačića. 

Crkva posvećena Gospi od Zdravlja nalazi se na brdu Račić s pogledom na Jelsu, a datira iz 16. stoljeća. Izvorna crkva sagrađena je 1535. godine na mjestu srednjovjekovne kapelice i služila je kao zavjetna crkva za pomorce. U nju hodočaste vjernici s cijelog otoka. Današnji oblik crkva je dobila u 19. stoljeću, kada se 1863. godine grade zapadna lađa i zvonik.U crkvi se nalaze: oltarna pala koja se pripisuje Palmi Mlađem (1544. – 1628.), dvije drvene skulpture iz 18. stoljeća te vrijedna ikona u renesansnom okviru iz 16. stoljeća. Gospa od zdravlja zaštitnica je Jelse i okolnih mjesta od bolesti, pa se, poštujući višestoljetnu tradiciju, 21. studenoga, na njezin dan, stanovnici središnjeg dijela otoka okupljaju na službi Božjoj.S brežuljka Račić pruža se lijep pogled na luku.

Osmerokutna crkvica s kraja 17. stoljeća odlikuje se raznolikošću stilskih obilježja. Minijaturna barokizirana crkvica sv. Ivana, smještena na skrivenoj „pjaceti” između visokih kuća, jedan je od najljepših jelšanskih spomenika. Crkvica je bila jedan od dva centra oko kojih će se razviti buduće naselje pa su tu sačuvane najstarije kuće, među kojima i one jelšanskih brodara.Tako na nadvratniku kuće Skrivaneli s obiteljskim plemićkim grbom nalazimo 1561. godinu. Do kraja 19. stoljeća traje gradnja kuća oko crkvice i uređenje trga. Trg ispred crkvice sv. Ivana najljepša je pozornica na otvorenom u Jelsi. Ispred crkvice sv. Ivana ljeti se održavaju kulturne manifestacije: koncerti, predstave, promocije.

Sjedište Muzeja Općine Jelsa je u kući Dobrović. Kuća u današnjem obliku dograđena je krajem 19. stoljeća i predstavlja jedan od najboljih primjera neoklasicističke stambene arhitekture u Jelsi. Pripadala je trgovačkoj obitelji Dobrović čiji su članovi bili istaknuti sudionici kulturnog i intelektualnog života Jelse, a njezin posljednji stalni rezident, Juraj Dobrović, međunarodno je priznati likovni umjetnik.Stalni postav izložen u kući Dobrović čine dvije muzejske zbirke. Kulturno-povijesna zbirka većim je dijelom izložena na prvom katu, a sadrži autentični inventar kuće karakterističan za drugu polovicu 19. i početak 20. stoljeća te razni dekorativni i predmeti svakodnevne upotrebe koji svjedoče o životu jedne građanske obitelji i umjetnički radovi iz zbirke grafika, slika i reljefa Jurja Dobrovića.

Podignut 1870. godine na naplavnom području, ovaj je park jedan od najvećih i najljepših u Dalmaciji, a njegovoj ljepoti pridonose golemi borovi i palme, oleandri, lovori i drugo mediteransko bilje. Godine 1923. u parku je postavljen spomenik kapetanu Niki Dubokoviću (1835. – 1912.), djelo Ivana Rendića. Kapetan Niko Duboković zaslužan je za moderni razvoj Jelse, isušivanje malarične močvare i izgradnju rive.Sjeverni dio parka uređen je 1950. godine, a u čijem je središnjem dijelu podignut spomenik skladatelju Antunu Dobroniću (1878. – 1955.), rad jelšanskog akademskog kipara Slavomira Drinkovića.