Harpsunds historia är känd sedan medeltiden. Riksdrotsen Bo Jonsson Grip blev ägare av jord på Harpsund i slutet av 1300 talet.
Omkring år 1660 kom säteriet i landshövding Friherre Axel Stålarms ägo. Gården fick nu namnet Axelsberg, vilket kom att bli det officiella namnet i två och ett halvt sekel. Under Axel Stålarms tid flyttades huvudbyggnaden till sin nuvarande plats.
År 1784 övergick gården till släkten Sparre, i vars ägo den förblev i något över hundra år. 1899 köptes gården av släkten Wicander och rustades upp. En ny huvudbyggnad uppfördes åren 1913-1914 och gårdsnamnet Harpsund
återupptogs.
Den siste privata ägaren till Harpsund var Carl August Wicander, känd affärsman och industriidkare och i hög grad kulturellt intresserad.
1952 avled C A Wicander. I sitt testamente hade han bland annat förklarat beträffande Harpsund:
”Att användas som hedersbostad för Sveriges vid varje tid fungerande Statsminister testamenterar jag på nedan angivna villkor till Svenska Staten mig tillhöriga Säteriet Harpsund med underlydande gårdar och hemman i Mellösa socken”.
