Die Anfänge einer ehemaligen Burg sind urkundlich nicht nachweisbar. Aufgrund der Beschaffenheit der Schießkammern in den Wehrtürmen mit Auflagehölzern für Hakenbüchsen kann ihre Entstehung in das letzte Drittel des 14. Jahrhunderts eingeordnet werden. In diesem Zeitraum werden auch erstmals 1371 die Herren von Grumbach „als gesessen zu Rimpar" erwähnt. Diese Dienstadelsfamilie entstammte dem Geschlecht derer von Wolfskeel und nannte sich seit dem Erwerb der Burg in Burggrumbach Wolfskeele von Grumbach, später nach ihrem Besitz, Grumbach. Das ursprüngliche, Namengebende Geschlecht von Grunbach oder Grumbach wird bereits um 1000 erwähnt, stirbt allerdings bereits 1243 im Mannesstamm aus. Durch Erbfolge gelangen die Güter, darunter auch die Burg zu Burggrumbach, an die Grafen von Rieneck. Diese veräußerten die Burg dann 1328 an Eberhard von Grumbach, der vermutlich ihr Dienstmann war.
Das Dienstadelsgeschlecht derer von Grumbach war außer in Rimpar, Burggrumbach und Estenfeld im 14./15. Jahrhundert in ungefähr 15 Orten (von der Gamburg bis Zeilitzheim) ansässig. Von diesen haben sich bis ins 17. Jahrhundert nur die vorerwähnten drei Linien erhalten. Zwei Fürstbischöfe, Wolfram von Grumbach (1322 – 1333) und Johann III. (1455 – 1466), den Deutschmeister Andreas von Grumbach (1490 – 1499), hohe geistliche Würdenträger und Ritter in verantwortungsvollen Positionen hat dieses Geschlecht hervorgebracht.
Die unglücklichen Händel des Wilhelm von Grumbach (1503 – 1567), seine Hinrichtung zu Gotha 1567, die daraus resultierenden Folgen und die Misswirtschaft seines Sohnes Konrad von Grumbach, zwangen denselben 1593 das Schloss mitsamt sämtlicher Liegenschaften an das Hochstift Würzburg zu verkaufen.
1603 starb das Geschlecht Grumbach in Rimpar, 1612 in Burggrumbach und 1682 in Estenfeld aus.
Der Kauf der Anlage, die bereits im 15./16. Jahrhundert in eine dreiflügelige Schlossanlage umgestaltet wurde, war für das Hochstift Würzburg sehr willkommen. Das Schloss lag direkt vor den Toren der Stadt Würzburg und eignete sich durch seine Größe vorzüglich als Landresidenz bis ins erste Drittel des 18. Jahrhunderts. Wobei durch den ersten fürstlichen Hausherrn Julius Echter vermutlich die Ostseite baulich verändert wurde.
1739 ist der letzte Nachweis, dass ein Fürstbischof das Schloss aufsuchte, dokumentiert. Das Nachahmen der fürstlichen Höfe, nach glanzvollen französischen Vorbildern im 18. Jahrhundert, führte auch am Würzburger Hof zum Bau der großartigen Landresidenz in Werneck.
Das Rimparer Schloss geriet hierdurch in Vergessenheit.
Nach der Säkularisation kam das Hochstift Würzburg und damit auch das Schloss an das Kurfürstenturm Bayern, dann an das Großherzogtum Toskana und 1815 an das Königreich Bayern. Bis zum Jahre 1973 wohnten hier Forstbeamte und walteten ihres Amtes. 1980 kaufte die Marktgemeinde Rimpar das Gebäude und richtete im 2. Obergeschoss die Amtsräume der Gemeindeverwaltung ein.