Hauganhuset er museets hovedbygning. Det ble bygget i 1740 i Arnadal og ble flyttet til tunet i 1978. Her ble det gjenreist på full kjeller og innredett som bygdemuseum.
Huset er et såkalt midtgangshus med gjennomgående gang. Første etasje har kjøkken og spisestue på den ene siden,, kammers og bestestue på den andre. Disse rommene er innredet og møblert som på en storgård rundt 1900, ispedd museumsgjenstander og malerier fra flere årtier.
Kjelleren inneholder utstillinger med forskjellige håndverk. Den har et lite skomakerrom, et rom med apotekutstyr, et hvalfangst- og skipsfartsrom, en utstilling om Stokkebyens utvikling og en stor samling film- og fotoutstyr.
Loftet har en stor samling gamle bumerker fra Stokke samt Verner Baumans metallarbeider. Det har også utstillinger av utstyr til håndarbeid, matstell og vask av klær. Hele prosessen i produksjon av lintøy vises her. Hatter og gravminner er utstilt i mellomgangen.