Ang mga bilang ng Heiligenberg ay unang nabanggit sa ikasampung siglo. Sila ang tagapag-alaga ng diocese ng Konstanz at lider ng partido ng mga hari sa Investment Battle. Si Berthold III ay pari at ang huling bilang. Ibinenta niya ang county noong 1277 sa Hugo II van Werdenberg.
Ang huling bilang ng Werdenberg-Heiligenberg ay ibinenta ang county noong 1413 sa Archduchy of Austria. Ang isang mas bata na sangay ng bahay ng Werdenberg, na pinasiyahan sa Trochtelfingen, Sigmaringen at Veringen, ay bumili ng county ng Heiligenberg pabalik.
Ang huling bilang mula sa sangay na ito ng Werdenberg, ang Christof house ay namatay noong 1534. Ang kanyang anak na si Anna, na kasal kay Frederik van Fürstenberg, ay nagmana ng Heiligenberg, Trochtelfingen at Jungnau. Kinuha si Sigmaringen sa likod ng emperador, pagkatapos ay pinalitan niya ang bilang ng Hohenzollern.
Ang mga anak ni Frederik at Anna ay nagbahagi ng ari-arian ng kanilang mga magulang, kasama si Joachim na nagtatag ng sangay ng Fürstenberg-Heiligenberg. Noong Mayo 12, 1664, ang mga kapatid na sina Frans Egon (obispo ng Strasbourg), Herman Egon at Willem Egon ay nakataas bilang prinsipe ng hari. Noong 1716, namatay ang sangay ng Fürstenberg-Heiligenberg kasama si Prince Anton Egon. Noong 1744, ang Heiligenberg ay naging bahagi ng di-ganap na prinsipyo ng Fürstenberg.
Ang Artikulo 24 ng Batas ng Rhine Bond ng Hulyo 12, 1806 ay naglalagay ng (halos) ng prinsipalidad ng Fürstenberg (kabilang ang Heiligenberg) sa ilalim ng soberanya ng Grand Duchy of Baden. Ang ilang mga kasiyahan, kabilang ang Trochtelfingen at Jungnau, ay inilagay sa ilalim ng soberanya ng principality ng Hohenzollern-Sigmaringen: mediatisation.
