Det er omkring 2500 hytter og husvær i utmarka i kommunen. Eksisterende hytteområder er: Søndre del av Hajeren, Omholtfjell/Skrim, skogsområdene ved Blefjell og Raje
Uansett hvor du har hytte i Kongsberg er du midt inne i store natur- og 
friluftslivsområder. Skrim/Omholtfjell og Raje/Ravalsjø ligger på hver sin side av Skrimfjella. Skrimtoppen (859 m.o.h) og blankskurte Styggemann (871 m.o.h) er Skrimfjellas høyeste punkt med utsikt til alle himmelretninger. Jondalen/Ble er den sørllige delen av Blefjell med Bletoppen (1342 m.o.h) som nærmeste nabo. Fra Blefjell er det direkte tilgang til Hardangervidda sørlige deler.
Skrimfjellene: Skrim er først og fremst et flott område for et aktivt friluftsliv. Vannene i området tilbyr glimrende bademuligheter og godt fiske etter ørret. Terrenget er hovedsakelig lett kupert, men tilbyr også krevende fjellpartier for dem som måtte ønske det. Det er et omfattende merket løypenett både sommer og vinter. Vinterløypene kjøres opp med to-spors løypemaskin eller snøskuter Mer informasjon om Skrim finnes på www.skrim.no.
Raje ligger nordvest for Skrimfjell med Ravalsjøen i sør og Sveinsbufjell i vest. Du kommer dit en 20 minutters kjøretur fra Kongsberg sentrum. Ta veien forbi Heistadmoen, videre oppover Ljøterudkroken og så til høyre opp Rajeveien. Raje er omgitt av store skog og fjellområder som gir spennende turmuligheter og gode opplevelser. Mer informasjon om Raje finnes på www.raje.no.
Hajeren: Hajeren ligger helt sør i Kongsberg kommune. Oppkjøring litt nord for Komnes kirke eller fra Hof. Hajeren og Øksneren er reguleringsmagasin i tilknytning til Hakavik kraftverk og har en reguleringshøyde på 4,8 m (408,0- 412,8 moh).I sørenden av Hajeren er det hyttebebyggelse av både eldre og nyere dato.Området er mye brukt som badeplass, fiske,kanopadling og turgåing. Mer informasjon om Hajeren finnes blandt annet på www.hajeren.com.
Blefjell/Jondalen: Nord i Kongsberg kommune opp mot Flesberg og Tinn ligger Blefjell. Fra Jondalen og Buen i Kongsberg og Nordstul over grensa til Notodden kommune kommer du inn i et løypenett som strekker seg helt inn til Hardangervidda. Er du innstilt på en kortere tur er det ca 3 km fra Buen/Elgtjørn og til Strutåsen, hvor det er servering i sesongen. Mer informasjon om Blefjell finnes på www.blefjell.no.