1945 entstand eine kleine Gedenkstätte auf dem Gelände des ehemaligen Konzentrationslagers.
56 Häftlinge, die dort tot im Lager zurückblieben bzw. gleich nach der Befreiung an den Folgen der Haft starben, wurden dort bestattet.
1955 bettete man die Toten in die August-Bebel-Straße im Stadtzentrum um, wo ein kleines Ehrenmal entstand.
1963 wurde ein Massengrab am westlichen Stadtrand auf dem Galgenberg geöffnet. Die dort gefundenen 113 Leichen, die 56 Toten vom Mahnmal in der August-Bebel-Straße sowie 11 auf dem Todesmarsch bei Rövershagen Umgekommene fanden hier eine würdige und angemessene Begräbnisstätte.
Am 8.Mai 1966 wurde das Mahnmal eingeweiht.