England, 1956: Ivy Jenkins blir gravid utenfor ekteskap, og mot hennes vilje blir barnet adoptert bort. Hun har brakt skam over familien og får aldri muligheten til å forlate St. Margaret, hjemmet for ugifte mødre som hun ble sendt til.

Nåtid: Journalisten Samantha Harper snubler over et gammelt brev fra en ung kvinne som var innestengt på St. Margaret. Det som står i brevet, er svært oppsiktsvekkende, men hvis Samantha skal rekke å undersøke denne saken, må hun være rask. St. Margaret, med alle sine mørke hemmeligheter, skal nemlig rives om bare noen dager.

De forlattes hus er inspirert av virkelige hendelser som rystet Storbritannia i etterkrigstiden.