Da Larvik Museum ble opprettet i 1995 fikk institusjonen ansvar for samlingene til Foreningen Larvik Sjøfartsmuseum og Larvik og Omegns Museumsforening. I disse årene hadde museet kontor og utstillinger i Herregården og drev også museumsvirksomheten i Kirkestredet 5. I 2002 flyttet museet kontorer og utstilling fra Herregården til Verksgården på Langestrand.
I 2007 ble Colin Archer-skøyta ”Jærbuen II” kjøpt med bidrag fra Larvik kommune og Sjøfartsmuseet. Den driftes av Larvik Museum i samarbeid med Foreningen Larvik Sjøfartsmuseum.