Opphavleg var fengselsdrifta leia av ulike myndigheiter, blant anna festningskommandantar og embetsmenn i amta. I 1875 vart det oppretta ei eiga avdeling i Justisdepartementet for "Straffanstalt og Fengselsvæsenet", i daglegtalen kalla "Fængselsstyrelsen". Avdelinga fekk etter kvart sjølvstendig mynde til å avgjere ei rekkje saker og hadde det overordna tilsynet med anstaltane.
I 1980 vart dei sentrale oppgåvene til friomsorga overtekne av Justisdepartementet/Fengselsstyret, som vart omorganisert og fekk namnet Kriminalomsorgsavdelinga. Frå og med 2001 fekk ein kriminalomsorga, ein etat på tre nivå der Kriminalomsorgas sentrale forvaltning (KSF) erstatta Fengselsstyret og verksemda til friomsorga vart lagt under eit nytt, felles regionalt ledd.
I 2013 vart Kriminalomsorgas sentrale forvaltning (KSF) skilt ut frå Kriminalomsorgsavdelinga i Justis- og beredskapsdepartementet og etablert som eit sjølvstendig direktorat i Lillestrøm med namnet Kriminalomsorgsdirektoratet (KDI).
Fengselsvesenet
Fridomsstraffa spelte fram til 1700-talet ei lita rolle innanfor straffesystemet. Forvising, lekamsstraff og dødsstraff var dei vanlegaste reaksjonsformene. Utviklinga på 1700-talet og fram til 1814 bar preg av ein gradvis overgang til fridomsstraff. I 1814 vart lekamsstraffa heilt avskaffa.
Straffeanstaltkommisjonen si innstilling frå 1841 føreslo at festningane og slaveria måtte leggjast ned og at det i staden burde byggjast sentralanstaltar i form av cellefengsel. Det første fengslet, Botsfengslet i Oslo, stod ferdig i 1851. Gjennom føresegnene om påtaleunnlating og vilkårsdom, vart personar som hadde gjort relativt lite graverande lovbrot, haldne utanfor fengsel.
Den første samla fengselslova kom i 1903. Det sentrale leddet i fangebehandlinga var eineromsbehandling og klassesystem, der dei innsette som følgje av god oppførsel, kunne flyttast oppover i systemet og få fleire gode. På same tid vart det innført høve til å lauslate innsette på prøve.
Fengselslova av 1958 var opphavleg prega av behandlingsoptimisme. Straffeutmålinga vart etter kvart prega av kor grovt lovbrotet var og gjerningsmannen si subjektive skuld utan særleg tru på at straffa hadde forbetrande verknad. Lova var samtidig prega av eit syn på at isolasjonen hadde negative verknader og av at dei skadelege verknadene av fullbyrdinga skulle reduserast.
Friomsorga
Straffeanstaltkommisjonen tok til orde for ei eiga omsorg for lauslatne fangar. Dette vart overlate til private selskap. I 1849 vart den første forsorgsforeininga stifta for å ta seg av lauslatne frå Kristiania.
Etter initiativ frå Justisdepartementet vart såkalla fengselsselskap danna rundt midten av 1870-talet. Verksemda til selskapa var i hovudtrekk å yte økonomisk bistand og i å skaffe arbeid til lauslatne fangar. I 1917 skifta foreiningane namn til forsorgsforeiningar og gjekk saman i De norske forsorgsforeningers landsforbund.
Gjennom ei lovendring i 1919 vart det opna for å stille vilkårsdømte og påtalefritekne under tilsyn. Forsorgsforeiningane og læreheims- og verneforeiningane gjekk i 1923 saman i ein felles organisasjon: Norges Forsorgs- og Verneforbund. Frå 1939 heitte organisasjonen Norges Vernesamband. I 1950-åra ekspanderte verksemda i vernelaga. Årsaka var blant anna lovendringar i første halvdel av femtiåra der ein streka under kor viktig tilsyn og personundersøkingar er.
1. januar 1980 overtok staten verksemda. Vernelaga vart til Kriminalomsorg i fridom, og Norges Vernesamband sine oppgåver vart overført til Justisdepartementet.
Ved lov av 22. juni 1990 vart det gjort endringar i fengselslova §12 slik at innsette kunne overførast til fullbyrding av fengselsstraffa i friomsorga sine hybelhus.
Eit prøveprosjekt med samfunnsteneste som alternativ til fengselsstraff, vart sett i verk i 1984. Ved lov av 15. mars 1991 vart samfunnsteneste lovfesta som eiga hovudstraff på lik linje med fengselsstraff og bot. Gjennomføringa av samfunnstenestedommar vart administrert av friomsorga. Med innstillinga frå friomsorgsutvalet - NOU 1993:32 - vart det gjeve ein grundig gjennomgang av oppgåvene og ansvaret friomsorga har.