Владетели средневекового графства Шиме из рода Круа с 1486 года носили титул имперских князей. В 1612 г. княжеский титул унаследовали Аренберги, в 1686 — семейство Энен-Лиетар, угасшее в 1806 году. Фактически Шиме было изъято в казну и управлялось купно с другими землями Австрийских Нидерландов присланным из Вены наместником.

В эпоху Реставрации права на княжеский титул заявили французские дворяне Караман-Рике, потомки того Пьетро Рикетти (1609-80), который выстроил для Людовика XIV Южный канал. К старшей ветви этого же рода принадлежал граф Мирабо. В 1824 году нидерландская корона дозволила главе рода Караман-Рике как наследнику последнего Энен-Лиетара принять титул принца Караман-Шиме. Его потомки носят этот титул и по сей день.

В течение 17 века замок неоднократно осаждали войска под командованием испанского полководца дона Хуана Австрийского и маршала Франции виконта де Тюренна, результатом чего стали многочисленные разрушения. В начале 19 века в замке были проведены необходимые восстановительные работы. Их инициатором стал Франсуа-Жозеф-Филипп де Рике, граф Караман, 16-ый принц Шиме, который в 1805 году женился на законодательнице мод и известной светской даме эпохи Французской революции, державшей салон в Париже, Терезе Тальен. Она открыла в замке небольшой театр (фото), названный в ее честь. В 1863 году архитектор французского императора Наполеона III Лефюэль построил новое здание театра, зал которого рассчитан на 200 мест. Он представляет собой уменьшенную копию театра, основанного в замке Фонтенбло королем Людовиком XV. С 1958 по 1985 год театр служил местом проведения Конкурса барочного пения, а в 1991-2007 годах – Фестиваля музыки барокко.

В настоящий момент замок принадлежит 84-летней принцессе де Шиме (фото), урожденной Элизабет Мансе, которая является наследницей крупного производителя бордосских вин. Все свои средства она тратит на содержание замка и классификацию его архивов. Принцесса является матерью трех детей, автором книги о мадам Тальен (1992) и автобиографии (2001).