Основной архитектурной «изюминкой» Сан-Джиминьяно, безусловно, являются четырнадцать средневековых башен, построенных наиболее знатными семействами, желавшими подчеркнуть своё общественное положение, в XI—XIII веках. Всего было выстроено, по разным данным, от 70 до 76 башен, но до наших дней дожили немногие, в том числе дом Куньянези, дом Песчиолини, палаццо Франчези-Чеккарелли с несимметричным фасадом, выстроенным для того, чтобы обойти ограничения на строительство, установленные в 1255 году[1]. Некоторые «небоскрёбы» достигают высоты 50 метров.

Сан-Джиминьяно был основан как небольшая деревня в III веке до н. э. этрусками. После упадка этрусского могущества на этом месте был построен римский форт Сильвия (Кастелло делла Сельва — из-за обилия окружающих лесов). Посёлок превращается в город в X веке н. э. и получает название Сан Джиминьяно в честь моденского епископа Геминиана (320—397), который, согласно легенде, остановил у стен города орды гуннов под руководством Аттилы в V веке.

До 1199 года, когда Сан-Джиминьяно получил своего первого подеста (мэра), город оставался под властью епископов близлежащей Вольтерры. В дальнейшем город бурно растёт благодаря пересекающей его Дороге франков, важнейшему торговому и паломническому пути того времени. Население его достигает 15 тыс. человек, что вдвое превышает современную численность жителей. В 1262 году город опоясали крепостные стены длиной 2177 м (позднее они были усилены пятью цилиндрическими башнями). В то же время Сан Джиминьяно является ареной непрерывной борьбы между семействами Ардингелли (гибеллины) и Сальвуччи (гвельфы). В 1238—1253 годах в Сан-Джиминьяно жила и умерла местночтимая католическая святая Фина (англ.) русск. (Серафима), являющаяся одной из покровительниц городка.
Междоусобицы, а также чумное поветрие 1348 года, более чем на 60 % сократившее население города, подорвали благополучие средневековой республики, и в 1352 году город перешёл под власть Флоренции. Чума накатывалась на эти места ещё дважды — в 1464 и 1631 годах, последовавший упадок экономики превратил Сан-Джиминьяно в бедное захолустье. Отсутствие нового строительства фактически законсервировало средневековый город, на что уже в XIX веке обратили внимание путешественники, с тех пор город является важным пунктом для туристов, приезжающих в Тоскану.