Als Beleg dafür, dass der Rote Haubarg für die Menschen in der Landschaft eine herausragende Rolle hat, mag gelten, daß mit dem Bau schon vor langer Zeit eine Sage verbunden wurde. Karl Müllenhoff teilt sie in seiner bekannten Sammlung in folgender Form mit:

An der Landstraße nicht weit von Witzwort steht ein großer schöner Hof, der Rote Haubarg; der hat neunundneunzig Fenster. Vor Zeiten stand hier ein kleines elendes Haus und ein armer junger Mann wohnte darin, der in die Tochter des reichen Schmieds, seines Nachbarn gegenüber, verliebt war. Das Mädchen und die Mutter waren ihm auch gewogen; doch der Vater wollte nichts davon wissen, weil der Freier so arm war. In der Verzweiflung verschrieb er seine Seele dem Teufel, wenn er ihm in einer Nacht bis zum Hahnenschrei ein großes Haus bauen konnte. In der Nacht kam der Teufel, riß das alte Haus herunter und blitzschnell erhoben sich die neuen Mauern. Vor Angst konnte der junge Mann es nicht länger auf dem Bauplatze aushalten; er lief hinüber in des Schmieds Haus und weckte die Frauen, wagte aber nun nicht zu gestehen, was ihm fehle. Doch als die Mutter einmal zum Fenster hinaussah und mit einem Male ein großes Haus erblickte, dessen Dach eben gerichtet ward, da mußte er bekennen, daß er aus Liebe zu dem Mädchen seine Seele dem Teufel verschrieben hatte, wenn er, ehe der Hahn kräht, mit dem Bau fertig würde Schnell ging die Mutter in den Hühnerstall, schon waren neunundneunzig Fenster eingesetzt und nur noch das hundertste fehlte: Da griff sie den Hahn, schüttelte ihn und er krähte laut. Da hatte der Teufel sein Spiel verloren und fuhr zum Fenster hinaus.

Der Schmied aber gab seine Tochter nun dem jungen Mann, dessen Nachkommen noch auf dem Hauberge wohnen. Aber die hundertste Scheibe fehlt noch immer und so oft man sie auch am Tage eingesetzt hat, so wird sie doch des nachts wieder zerbrochen.

Diese Statue im Garten des Haubargs erinnert an die Sage.