A falu első okleveles említése 1246-ra datálódik, „Tarian” névalakban. A 13. században a környék urai, a Kacsicsok építették Salgó-, Somoskő-, Zagyvafő- és Baglyaskő várát. A falu plébániatemploma is középkori eredetű. A 16-17. században a vidék az oszmán hódoltság határvidékén helyezkedett el.

A 18-19. században az egymást váltó birtokos családok után a Szluha-, majd a Jankovich-család határozták meg a falu sorsát. Az iparosodás előtti „Salgó-Tarján” átlagos palóc falu volt, egyutcás faluként fejlődött a mocsaras szegélyű Tarján-patak völgyében.

A barnakőszén jelenlétéről már a 18. századtól tudtak, a bányaművelés 1848-tól indult meg a környéken. A későbbi legjelentősebb bányavállalat, a Salgótarjáni Kőszénbánya Rt. (SKB Rt.) jogelődje építette meg 1863-1867 között a Pest-Salgótarján vasútvonalat.

Az SKB Rt. központja a Tarján pataktól nyugatra, a falu délnyugati részén, a Verem-oldal lejtőin alakult ki 1868-1873 között. A falu központjától távolabb is létesültek bányatelepek (Öreg Józsefi, Forgách- és Somlyóbánya-telep, Károlyakna).

A Rima és Sajó folyók ipari körzeteihez való közelség lehetőséget adott az ipari kooperációk kialakítására, amit a vasút kiépítése után a Rimamurányi-Salgótarjáni Vasmű Rt. (RMSV Rt.) valósított meg. A Salgótarjáni Vasfinomító Társulat 1868-ban honosította meg a vasgyártást a településen. A vállalat jogutódjaként jött létre az RMSV Rt. 1881-ben két vállalat fúziója nyomán. A gyártelep a falutól északkeletre, a Salgó-patak völgyében épült.

A fenti két országos nagyvállalat városfejlesztő tevékenysége meghatározó volt Salgótarjánban.

Az ipartelepítés 19. századi második hullámában, 1893-ban kezdte meg termelését az (öblös)üveggyár, 1894-től működött a vasöntöde és gépgyár ( később „tűzhelygyár”).

A bányászati- és az ipari tevékenység megkezdését nagyarányú bevándorlás kísérte. A Monarchia minden tájáról, és más országokból is érkeztek különböző nemzetiségű munkavállalók: felső-magyarországi szlovákok, németek, cseh-morvák, szlovének („gránerek”). A katolikus lakosság mellett megjelent az evangélikus felekezet is.

A századfordulóig az 1850-es 808 fős települési lakosságszám robbanásszerűen duzzadt fel, 1900-ban már több mint 13 000-en laktak Salgótarjánban. Ekkorra már többségében magyarok lakták a nagyközséget. Az ezt követő időszakban a népesség növekedése természetes ütemet vett fel.

A felduzzadt lakosságszám maga után vonta a kereskedelem és a kisipar felfutását is. Zömmel izraelita kereskedőcsaládok építették fel a főutca plébániától a Menház utcáig tartó szakaszának városias küllemű épületeit. A „Potemkin-városként” is emlegetett településközpont eklektikus épületei zömmel az 1880-1890-es években létesültek.

A növekvő súlyú nagyközség 1890-től járási székhellyé vált. A város országos jelentősége Trianon után még nőtt is, ipari-bányászati központként stratégiailag felértékelődött.

1922. január 27-én az acélgyári olvasókör nagytermében megtartotta alakuló ülését a városi képviselőtestület. A város első polgármesterének Förster Kálmánt nevezték ki (1922-1943).

Első intézkedései közé tartozott egy építészeti-szabályozási tervpályázat kiírása. Ekkoriban nem támogatták a hosszanti észak-déli irányú terjeszkedést, inkább a kelet-nyugat irányú, völgyekbe és be nem épített területekre irányult a városfejlesztési szándék. A városvezetés a közművesítés hiányosságait is igyekezett pótolni. Szabályozták a Tarján-patakot, csatornázták a Pécskő-patakot, utakat köveztek le.

A korszakban viszonylag kevés új lakást építettek a folyamatos lakásínségben szenvedő városban. Az építkezések helyszínei: Újtelep (tisztviselőknek), Rokkant, a rimai városrészben a „kolduspaloták”, Szent Ferenc-telep, Kilczer-féle bérház.

Jelentősebb középületek a korszakból: honvédlaktanya (1922-1924), bányakapitányság (1924), adóhivatal (1927), városi rendőrkapitányság (1927), járásbíróság, valamint a csendőriskola- és laktanya (1928). Két templomot adtak át, a reformátust 1929-ben, az északi katolikus plébániatemplomot 1936-ban.

A város oktatási intézményei a vállalatok által fenntartott társulati-, valamint állami fenntartású iskolák voltak. 1928-1929-ben építette fel az RMSV Rt. modern társulati elemi iskoláját. 1923-tól a nagyvállalatok támogatásával jött létre az 1925-től Chorin Ferencről elnevezett reálgimnázium. A városiasodás egyik jeleként 1923-tól megjelentek a városban a köztéri művészeti alkotások.

A település egészségügyi ellátását is jobbára a két nagyvállalat társulati kórháza biztosította. 1933-ban nyitotta meg kapuit az Egészségház.

Sportlétesítményként ekkor épült az SSE dolinkai sportpályája (1924), valamint az SBTC Öreg Józsefi-telep közeli pályája (1925). A korszakban kezdett kiépülni a város körül a turisztikai hálózat.

A korszak iparfejlődésének jelentős történése volt: az SKB Rt. áramértékesítési osztályából 1929-ben megalakult a Hungária Villamossági Rt. 1937-ben alapították a Magyar Vasötvözetgyár Rt-t. 1925-től a palackgyár az SKB Rt. leányvállalataként működött.

A korszakban a városvezetés igyekezett önálló tényezőként a korábbi vállalati gyámkodástól, és egyben befolyástól minél kevésbé függeni. A polgármester igyekezett a városhoz kapcsolódó identitást kialakítani a még gyakran csak egy-két generáció óta a városban élő emberekben, hogy meghaladhassák a vállalatokhoz, telepekhez való elsődleges kötődést.

A városi- és a vállalati vezetés kormánypárti volt, ideológiailag a nemzeti-keresztény gondolatkörhöz tartoztak. Erős volt a revíziós igény, Salgótarjánban különösen az, hiszen 1920-ban határvárossá vált, vonzáskörzetének északi részét elvesztette.

A város munkásváros jellegéből adódott egy, a korszakon végig érzékelhető ellenzéki érzület is, amely különböző pártok támogatásában tükröződött. Az 1920-as években a baloldali  szociáldemokrata párt volt erős, az 1930-as évek végén a nyilaskeresztes párt erősödött meg széles társadalmi rétegekben.

Az 1960-1970-es években lezajlott átépítés fényében Förster Kálmán városfejlesztő munkája ma talán nem tűnik látványosnak, de kortársai, akik hivatali ideje vége felé visszatekintettek, komoly fejlődést érzékeltek az 1921-es elhanyagolt állapothoz képest.

1944 elejétől Dr. Rátky Béla töltötte be a polgármesteri posztot. Hivatali ideje szinte végig egybeesik a német megszállással. A település modernizációs folyamataiban az iparosodás óta aktívan részt vevő zsidó közösség nagy részét 1944 júniusában deportálták.

A szovjetek 1944. december 26-i bejövetele során a város lakott részeit elkerülték a harcok. 1945 elejétől Salgótarjánban már a koalíciós időkben vezető pozícióba került a helyi kommunista párt.

Politikai okokból, de a város társadalmi-gazdasági súlyát is figyelembe véve, Salgótarjánt 1950-től Nógrád megye székhelyévé tették. 1956. december 8-án itt következett be a forradalom idején az egyik legtöbb áldozatot követelő sortűz.

A következő több mint harminc évben tovább fejlődött az ipar. Az 1950-1960-as években a város hagyományos üzemeiben rekonstrukciókat hajtottak végre. 1965 után a bányászatot fokozatosan visszafejlesztették. 1970 körül, összefüggésben a bányászat leépítésével további üzemek nyíltak a városban (Vegyépszer, BRG, ruhagyár). Évtizedekig Salgótarján volt Budapest után a legszélesebb ipari termékszerkezettel bíró város az országban.

Az 1960-as években a város vezetése „Ezer szakembert Salgótarjánnak” mottóval igyekezett növelni a település értelmiségi rétegének számát.

1950-ben a városhoz csatolták Baglyasalját, 1961-ben Zagyvapálfalvát, 1973-ban Zagyvarónát, 1977-ben Somoskőújfalut és Somoskőt. (2006-ban Somoskőújfalu elszakadt.)

A szocializmus éveiben emelkedett a lakosságszám, mely 1980 körül érte el csúcsát, rövid időre meghaladva az ötvenezret. A rendszerváltozás után, a már a korábbi években is észlelhető válságjeleket követően az ipari üzemek lassú felszámolása is megkezdődött. Jelenleg a tűzhelygyár jogutóda üzemel a történetileg jelentős salgótarjáni gyárak közül. A lakosságszám csökkenése 2000 körül gyorsult fel, jelenleg (2021) 34 000 fő körüli. Salgótarján 1994-től megyeszékhelyként megyei jogú városnak minősül.