Nachdem die meisten Sportvereine in der Zeit des Zweiten Weltkriegs verboten waren, gab es ab 1945 seitens der Stadtgemeinde Kapfenberg und der Firma Böhler Bestrebungen, wieder Strukturen für den Sport in Kapfenberg zu schaffen. Dazu fand am 19. August 1945 eine erste Jahreshauptversammlung statt, der Verein nannte sich zu diesem Zeitpunkt Amateur-Sportclub Kapfenberg. Zuerst wurden Sektionen für Fußball, Tischtennis, Handball und Wintersport gebildet, 1947 auch für Fechten und Schach. Zu diesem Zeitpunkt hatte die Kapfenberger Sportvereinigung etwa 400 Mitglieder.
Als offizielles Gründungsdatum wird der 21. März 1947 angegeben, als sich der Verein auch offiziell in Kapfenberger Sportvereinigung umbenannte. Das vereinsrechtlich gültige Gründungsdatum ist der 29. Juni 1948. In den folgenden Jahren wurden immer mehr Sektionen Teil der KSV. So hatte der Verein 1975 bereits 19 Sektionen und sieben angeschlossene Vereine mit etwa 3.350 Mitgliedern.
1996 wurden die Sektionen zu rechtlich eigenständigen Zweigvereinen, da bis zu diesem Zeitpunkt das gesamte finanzielle Risiko aller Sektionen beim Vorstand der Kapfenberger Sportvereinigung lag. Seit Oktober 1996 fungiert die KSV als Hauptverein für die selbständigen Zweigvereine.
Im Jahr 2002 wurde die KSV für Ihre außergewöhnlichen Leistungen auf sportorganisatorischem Gebiet von der Steiermärkischen Landesregierung zum Verein des Jahres gewählt. Im Jahr 2005 folgte dann die Auszeichnung zum besten Sportverein Österreichs.
Aktuell ist die Kapfenberger Sportvereinigung der zweitgrößte Sportverein in Österreich und besteht aus 21 Zweigvereinen sowie aus 21 angeschlossenen Vereinen mit insgesamt rund 5.200 Mitgliedern.