Marie har allerede fået et barn med en tilfældig mand, da hun bliver husbestyrerinde for Villy på Fjordagerholm ved Løgstør. Hun er gravid igen, da hun ankommer, men Villy, der hurtigt tilbyder hende ægteskab, tvinger hende til at bortadoptere barn nummer to. Marie og Villy lever sammen i hen ved tyve år, slider og slæber i et landbrug, der er præget af krise, og hvor truslen om konkurs er en tro følgesvend. De er to ensomme mennesker, der lever lidenskabsløst, nærmest fremmede for hinanden, under samme tag. Det er en roman om hårde eksistensvilkår, det er en landbrugs- og hjemstavnshistorie, men det er først og fremmest en kvindeskildring. "Det du mister" er en selvstændig fortsættelse af "Vejs ende" (2006) – kanalhusene med arkitekten Holger, hans bibliotekarkone Anne og deres adoptivdatter Lærke er bifigurer i dette naturskønne, men barske og hårde romanlandskab.