Der Landgraben wurde vermutlich um 1300 an Stelle eines alten Elbarmes angelegt und diente der Entwässerung der Felder zwischen Leubnitz, Strehlen, Gruna und Striesen. Zugleich wurde er in früheren Zeiten auch als natürlicher Verteidigungsgraben und Löschwasserreservoir genutzt. 1575 ist er als “Alter Graben in einem Plan verzeichnet. Die Quelle des Gewässers liegt in der Nähe von Leubnitz, wo er zunächst als Koitzschgraben bezeichnet wird. Auf Reicker Flur vereinigt er sich mit dem Prohliser Landgraben und fließt von dort durch den Rothermundpark in Richtung Striesen.

Ursprünglich verlief er von Gruna kommend weiter durch den Striesener Dorfkern, wo noch heute der Straßenname Am Landgraben an diese Zeit erinnert. Vonn dort führte er im Zuge der Eilenburger, Haydn- und Holbeinstraße über die Flächen der heutigen Johannstadt und mündete in der Nähe der Gerichtsstraße in die Elbe. Im Zusammenhang mit der fortschreitenden Bebauung wurde der Landgraben 1860 verlegt. Heute zweigt er in Gruna von seinem früheren Verlauf in östlicher Richtung ab und fließt dann parallel zur Lauensteiner Straße zum Niederwaldplatz. In Blasewitz mündet er zwischen Heinrich-Schütz- und Tauscherstraße in die Elbe.