Eine Wehranlage unbestimmten Ausmasses wird 960 erwähnt, als Otto I. dem Bischof von Chur die Kirche in castello beneduces et razunnes übergibt. Wie diese Burganlage an das edelfreie Geschlecht der Rhäzüns gelangte, bleibt unbekannt. 1137-1139 erscheint der erste urkundlich nachweisbare Vertreter, und ab Mitte des 13. Jahrhunderts zählten die Freiherren von Rhäzüns zu den angesehensten Adelsfamilien Rätiens. Zur Stammherrschaft gehörten die Burg und die geschlossene Grundherrschaft über Rhäzüns und Bonaduz. Nach Mitte des 14. Jahrhunderts erwarb die Familie Rechte und Leute im Domleschg und am Heinzenberg sowie 1343 die Herrschaft Fryberg mit den Festen Jörgenberg und Fryberg (Siat). Der bedeutendste Vertreter, Ulrich II. Brun, manchmal «der Mächtige» genannt, war finanzstark und ein geschickter Verwalter. So gingen 1368 Burg und Dorf Felsberg, zwischen 1378 und 1383 ein Grossteil der Erbschaft der Montalt in der Surselva (Burgen Grünenfels und Schlans) an Rhäzüns. Damit hatte sich Ulrich in nächste Nähe zur Herrschaft des Klosters Disentis gesetzt. Durch Verwandtschaft mit den Belmont gelangten die von Rhäzüns 1380 in den Besitz von Burg und Dorf Ems. Sie erwarben 1383 Herrschaftsrechte am Heinzenberg, in Vals und Safien (von den verschwägerten Grafen von Werdenberg-Sargans) und führten ab Ende der 1380er Jahre Fehden mit dem Bischof von Chur im Domleschg und am Heinzenberg. Diese führten 1395 zur Bildung des Oberen Bundes, Vorläufer des Grauen Bundes, zwischen dem Abt und den Gotteshausleuten von Disentis, Ulrich II. Brun von Rhäzüns, Albert von Sax und den Lugnezer Talleuten. Die jahrzehntelangen Kämpfe führten zu einer Erschöpfung der militärischen und wirtschaftlichen Kräfte des Geschlechts der Rhäzüns; die politische Zukunft gehörte den kommunalen Bewegungen und den Bünden. 1424 beschworen die Freiherren von Rhäzüns mit dem Abt von Disentis, den Grafen von Sax-Misox sowie mit Gemeinden des Vorder- und Hinterrheintals den Grauen Bund.
Nach dem Aussterben des männlichen Stammes 1458 gingen die engere Herrschaft Rhäzüns mit den Nachbarschaften Rhäzüns, Bonaduz, Ems und Felsberg, daneben Jörgenberg, Tenna, Obersaxen und Rechte im Lugnez an den Sohn der Ursula von Rhäzüns, Niclas von Zollern. Thusis, Tschappina, der Heinzenberg mit der Burg Tagstein sowie Safien gelangten an Graf Jörg von Werdenberg-Sargans, den Gatten Annas von Rhäzüns. 1497 erwarb Maximilian I. von Österreich die engere Herrschaft Rhäzüns, die vorerst als Pfandbesitz an verschiedene einheimische Familien ausgegeben wurde (Marmels, Planta, Stampa, Travers) und ab 1696 direkt unter habsburgisch-österreichischer Verwaltung stand. Die vier Dörfer der Herrschaft Rhäzüns bildeten weiterhin eine eigene Gerichtsgemeinde im Grauen Bund und wählten einen Ammann, der die niedere Gerichtsbarkeit ausübte. Die Untertanen waren zu keinem Kriegsdienst für Habsburg-Österreich verpflichtet. Dieses hatte sein Interesse am politischen Einfluss im Grauen Bund, den der Kaiser als einer der drei Hauptherren mit Vorschlagsrecht für das Landrichteramt bis zum Ende des 18. Jahrhunderts wahrnehmen konnte. 1809-1814 ging die Herrschaft kurzfristig an Frankreich, 1819 wurde sie infolge eines Beschlusses des Wiener Kongresses dem Kanton Graubünden abgetreten. Mit der 1851 neu geschaffenen Gerichts- und Verwaltungsordnung wurden die Dörfer Rhäzüns, Bonaduz und Ems dem Kreis Rhäzüns, das reformierte Felsberg dem Kreis Trins zugeteilt.
Das erstmals 1282 urkundlich erwähnte Schloss Rhäzüns enthält teilweise hochmittelalterliche Bausubstanz. Der Nordtrakt und Torbau mit dem Wappen der Freiherren von Rhäzüns und Fresken (Bärenjagd) stammen spätestens aus dem 14. Jahrhundert, Umbauten fanden im Spätmittelalter statt, der Ostturm ist abgestürzt. Bedeutende Erneuerungen und Ausbauten folgten in der zweiten Hälfte des 16. Jahrhunderts, in der letzten grossen Ausbauphase um 1700 wurden der äussere Torbau und der Kapellentrakt errichtet. Die Ausstattung des Schlosses ist weitgehend neuzeitlich. Die Besitzergeschichte widerspiegelt die politische Geschichte der Herrschaft. Zu Beginn des 21. Jahrhunderts war das Schloss im Besitz der Ems-Chemie AG.