Der Harz wurde bis in das Mittelalter hinein „Hart“ genannt, was so viel wie „Bergwald“ bedeutet. Er ist das geologisch wohl vielfältigste aller deutschen Mittelgebirge und basenarme Gesteine überwiegen bei Weitem. Während des Paläozoikums fand im Karbon die Bildung des Variskischen Gebirges statt. In dieser erdgeschichtlichen Zeit entstanden in Europa viele Hochgebirge, die bis zu 4000 m aufragten. Zu Ihnen zählen auch das Fichtel- und das Rheinische Schiefergebirge, die durch erosive Einflüsse bis auf Ihre jetzige Höhe wieder abgetragen wurden. Der Harz allerdings wurde als Ganzes durch tektonische Einwirkungen angehoben, wobei während der subherzynen Phase vor etwa 83 Millionen Jahren die dramatischste Aufwärtsbewegung vonstatten ging. Damals wurde der Nordrand des Gebirges steil aufgerichtet und eine Störungszone bildete sich heraus, die so genannte Harznordrandverwerfung.
Die Form des Gebirges wird deshalb auch als Pult- oder Schollengebirge bezeichnet, das nach Nordosten und Westen und steil abfällt und in sich südlicher Richtung allmählich abflacht. Der Harz wird von vielen tiefen Tälern durchfurcht. Im nördlichen Vorland des Gebirges hat die Subhercyne Mulde kreidezeitliche Schichten hinterlassen. Am südlichen Rand des Harzes haben sich permische Sedimente abgelagert. Die Verwerfung des Harzrandes hat senkrechte oder sogar überkippende geologische Schichten hinterlassen und zeichnet sich durch eine ungeheure und häufig wechselnde geologische Vielfalt aus. Dieses Gebiet am Harzabbruch wir auch gern als „Klassische Quadratmeile der Geologie“ bezeichnet.
Um Elbingerode herum befinden sich bedeutende Vorkommen von Kalkstein, die wirtschaftlich durchaus von Bedeutung sind.