Bereits 1890 errichtete man auf der Erhebung einen ersten Aussichtsturm.
Nach dem Zweiten Weltkrieg wurde dieser Turm 1952 abgerissen und der Berg Sperrgebiet. Es folgte der Bau von Abhöranlagen mit Radarturm. Auf dem Gipfel wurden Soldaten stationiert und die STASI betrieb die Abhöranlagen. In den Zeiten des Kalten Krieges war der Heldrastein nun ein Horchposten des Ostens.
Nach der Wende wurde der Radarturm vom “Feindes-” zum “Freundschaftssymbol”. Aufgrund des Einsatzes der lokalen Bevölkerung beiderseits der Grenze wurde der Turm nicht demontiert, sondern 1996 mit Hilfe von EU-Geldern und zahlreichen Spenden aus der Region in den heutigen Aussichtsturm verwandelt. Heute trägt das Bauwerk den symbolträchtigen Namen “Turm der Einheit”. Die tragende Konstruktion des abgespannten Bauwerks besteht übrigens aus Aluminium.
