Die Stadt wird schon 889 erwähnt, als sie aus fränkischem Königsbesitz an das Kloster Fulda ging.

Im 13. Jahrhundert erhielt sie die Stadtrechte und baute eine Stadtmauer mit zwei Toren: Das Untere Tor geht durch den Gaibacher Torturm, auch Krakenturm genannt, das Obere, Schwarzacher oder Sommeracher Tor durch den Diebesturm.
Die Türme wurden im Jahr 1258 gebaut, ihr heutiges Erscheinungsbild bekamen sie 1579.

Eine Schautafel am Gaibacher Tor zeigt eine Abbildung aus dem 500 Jahre alten Salbuch: die Vereidigung des Torwächters Hans Ruediger Burckart. Der bewaffnete Torwart kontrollierte alle Reisenden und versperrte nachts die Stadttore.

Die historische Altstadt steht unter Denkmalschutz.