Nach einer ersten öffentlichen Diskussion am 25. Oktober 1945 stimmte der damalige Gemeinderat Scharzfeld für den Bau eines Schwimmbades. Nachdem aus der Ortschaft und externen Vereinen Geld für den Bau gesammelt wurde, begann der Bau im Februar 1952. Nach einem finanziell bedingten Baustopp wurde das Bad durch Scharzfelderinnen und Scharzfelder ab April 1953 weitergebaut. Nach 3146 Arbeitsstunden, geleistet durch 322 Scharzfelderinnen und Scharzfelder wurde das Schwimmbad am 21. Juni 1953 mit einem Schwimmfest eröffnet. Dabei nahmen 120 Athletinnen und Athleten als Schwimmer und Turmspringer teil.

Mit dem Gebietsänderungsvertrag zwischen der Stadt Herzberg am Harz und der Gemeinde Scharzfeld 1972 wurde auch das Schwimmbad durch die Stadt Herzberg am Harz übernommen. Im Weiteren wurde eine Heizung installiert und das Mehrzweckgebäude errichtet.