Si Stein ay isang kastilyo ng isang pamilya ng mga kabalyero ng parehong pangalan na mga hiniram mula sa Arsobispo ng Mainz. Sa paligid ng 1170, kabalyero Siegfried van Stein ay nagpakasal kay Lukardis, ang tagapagmana ng county sa Rheingau. Bilang isang resulta, ang county na ito ay nahulog sa pinsan nitong si Wolfram van Stein (1194-1223) noong 1223. Samakatuwid ito ang unang Rhine digger mula sa pamilyang van Stein. Sa mga sumusunod na taon, ang Archdiocese of Mainz ay nagtagumpay sa pagpapalayas sa mga libingan ng Rhine mula sa kanal ng Rhine (1281). Higit pa kaysa sa pamagat ay hindi mananatili.
Noong 1350, ang kasal ni Rhine Earl Jan I hanggang Hedwig, ang game countess ng Dhaun ay nagresulta sa sunud-sunod sa Game Count Dhaun. Ang pag-aasawa ng kanilang anak na lalaki na si Jan II sa wild countess na Margaretha van Kyrburg (malapit sa Kirn) ay nagbibigay ng kahalili sa wild county Kyrburg noong 1409. Inilatag nito ang pundasyon para sa laro at county ng Rhine.
Ang kasal ng laro at Rhine Earl Jan V kay Johanna van Salm ay nagbibigay ng sunud-sunod noong 1475 sa county ng Salm sa Vosges.
Matapos ang pagkamatay ni Rhine Count Johan Christop van Grumbach mayroong dalawang menor de edad na anak na lalaki. Sa ngayon, ang bunsong anak ni Adolf ay itinatag ang kanyang tirahan sa Stein. Matapos ang kanyang kamatayan noong 1626, si Stein ay muling nakasama sa Grumbach.
Matapos ang pagkawasak ng kastilyo ng Rheingrafenstein, ang tirahan ay inilipat sa Grehweiler. Sinimulan ni Rijngraaf Karel Magnus ang pagtatayo ng isang palasyo sa estilo ng Versailles noong 1748. Bumili rin siya ng 120 kabayo at isang bodyguard ng 19 na kalalakihan. Matapos mabuo ang isang utang na 300,000 guilder, ang mga creditors ay bumaling sa emperador. Noong 1775, siya ay pinigil sa pamamagitan ng utos ng emperador at pinarusahan ng sampung taon sa bilangguan (sa Philipsburg) dahil sa pag-abuso sa kapangyarihan at panlilinlang. Ang bilang ay inilabas nang maaga noong 1782. Pagkatapos ay iniwan niya ang pamahalaan sa kanyang manugang na si Willem Christiaan, ang kapatid ng naghaharing Rhine van Grumbach. Matapos ang pagkamatay ni Karel Magnus noong 1793, si Willem Christiaan ang huling Rhine Earl ng Stein.
Noong 1797 ang county ay isinama sa Pransya. Ang talata 3 ng Reichsdeputationshauptschluss noong 25 ng Pebrero 1803 ay nagtutuos ng parehong libingan ni Rhine kasama ang natitirang tanggapan ng Horstmar ng dating punong-guro ng Münster. Pagkatapos ay ginamit nila ang pangalang Salm-Horstmar.
Sa pamamagitan ng Vienna Congress noong 1815, dumating sina Stein at Grehweiler sa kaharian ng Bavaria, Wörrstadt sa Grand Duchy ng Hessen-Darmstadt at Wildenburg sa Kaharian ng Prussia. Ang Diemeringen ay mananatili sa Pransya.
