Der Ausdruck „Landgraf“ erscheint seit dem 12. Jahrhundert in Thüringen, dessen Regenten in der deutschen Geschichte als die „Landgrafen“ katexoche bekannt sind. Nach deren Aussterben (1241) hat das Haus Brabant den Landgrafen-Titel in Hessen weitergeführt. Während aber Bezeichnungen wie Markgraf, Burggraf, Pfalzgraf sich zum Teil selbst erklären, sind wie es scheint, Ursprung und Bedeutung des Begriffs „Landgraf“ keineswegs festgestellt. Daß darunter eine verhältnismäßig hohe Dignität zu verstehen ist, ergibt sich schon aus der lateinischen Wiedergabe des Wortes: „Comes magnus, Comes principalis“, wie ebenfalls aus der Bewandtnis, dass es immerhin sehr bedeutende Fürsten, wie die von Thüringen und Hessen gewesen sind, welche sich Landgrafen zu nennen beliebten.

Man vermutet, dass es vielleicht solche „Grafen“ gewesen sind, welche ihr Machtgebiet, ihr „Land“, im alten territorialen Ausmaß aufrecht erhalten hatten und nicht, wie dies im 12. Jahrhundert vielfach vorgekommen, zu Versallen eines größeren Fürsten geworden waren. Dabei scheint die Bezeichnung in Thüringen, sozusagen dem Ursprungsland unseres Titels, auf den Oberherren des „Land“-Friedens-Gerichtes hinzuweisen, eines zur Wahrung des Friedens gebildeten Richter-Kollegiums.

Daneben haben im Heiligen Römischen Reich auch kleinere Landgrafschaften bestanden: so hat der bedeutendste Teil des einst reichsunmittelbaren Gebietes der Fürsten zu Fürstenberg mit der Hauptstadt Donaueschingen die Landgrafschaft Baar gebildet (im heutigen Baden gelegen, wie zum Teil in Württemberg). Mithin führt auch der jeweilige Chef des Hauses Fürstenberg heute noch den Titel „Landgraf in der Baar“. Hingegen gehörte die Landgrafschaft Kleggau (Klettgau) im Grenzgebiet zwischen der Schweiz und dem Badischen den Grafen zu Sulz und kam nach Erlöschen des genannten Hauses (1687) als „gefürstete Landgrafschaft Kleggau“ vermittels Erbschaft an die Fürsten zu Schwarzenberg. Die Landgrafschaft Stühlingen (Kreis Waldshut, Baden) indes gelangte durch eine Erbtochter der Reichs-Erbmarschälle von Pappenheim (1639) an eine jüngere Linie des Hauses Fürstenberg und erweiterte deren Besitzstand. – Eine besondere, im deutschen Reichsrecht kodifizierte Bedeutung hat der Begriff „Landgraf“ jedenfalls nicht gehabt.