A Duna-parti hely adottságait már a honfoglalók is felismerték, hiszen ezen a vidéken a szálláshelyüket itt alakították ki. Az első, írásos feljegyzés 1025-ből való, ekkor említik már a települést.

Azt tartják, hogy az 1329-ben Almás néven jelölt hely az akkor itt élt Almási családról kapta a nevét. Van olyan vélemény is, hogy az ártéri – már eltűnt – gyümölcsösök emlékét őrzi az „Almás” megnevezés. A név később kapta meg a „Rác” előtagot. A 16-17. században a török elől menekülő szerb, rác családok telepedtek le itt, innen eredt a „Rác” név. Almás, Tikos és Szigetfa településeket a török kiűzése után, 1696-ban "egyesítették" Rácz Almás néven.

A településen a 19. században már virágzó élet volt, mezőgazdasága, kereskedelme, a folyón a vízimalmai és a halászat is jó megélhetést biztosított. A két világháború között a budapestiek fedezték fel a remek helyet, sokan építettek nyaralókat a faluban. A 2. világháború után nagy beruházások indultak a környéken, ami sok betelepülőt vonzott a községbe.

A mai város megőrizte a többszázéves Ófalú utcáit, számos műemlékét. Emellett a vízisportok, horgászás vagy természetjárás és fesztiválok népszerűsége is egyre jobban nőtt.