Supre de la urbocentro sur monto staras la Kastelo Herzberg. Tiu kastelo unuafoje estis menciita en donacdokumento de Henriko la Leono (germ. Heinrich der Löwe) el la jaro 1154. Ĝi estas unu el la maloftaj kasteloj de trabfaka konstrumaniero. De 1158 ĝi estas en posedo de la dinastio de Velfoj. En la jaro 1929 Herzberg ricevis urbajn rajtojn. Intertempe al ĝi apartenas ankaŭ la iam memstaraj lokoj Lonau, Scharzfeld, Sieber kaj Pöhlde.
Laŭ decido de la urbaj deputitoj de la 11-a de julio 2006 la urbo portas la nomon "Herzberg am Harz — die Esperanto-Stadt/ la Esperanto-Urbo"[2].