Tvrz stála ve Lhoticích již roku 1363, kdy ji držel Oneš Tluksa ze Lhotic. Za husitských válek tvrz ovládal Žižkův spojenec Zdeněk z Lukavce, ale již za jeho potomků pustla. Až roku 1542 získali ves s tvrzí bohatí svobodníci bratři Jan a Jiří Růžkové z vladyckého rodu „Růžků z Rovného“. Jako úspěšní hospodáři si nechali roku 1543 potvrdit erb i přídomek a roku 1611 je ves prvně zmíněna jako „Lhotice Růžkovy“. Tvrz byla součástí hlavního dvora, který měl od roku 1762 i vlastní pivovar.

V roce 1777 koupil zadlužené Lhotice od Josefa Růžka hrabě Karel Josef Palm, majitel Čechtic. Lhotice jako svobodnický statek prodal roku 1787 svému hospodářskému radovi Františku Dornovi, který na místě tvrze vystavěl barokně-klasicistní „zámek“. Jako svobodnické sídlo vynikl v rámci Čech rozsahem i strukturou. Jeho dvoukřídlá budova byla zapojena do areálu dvora, vymezeného na dalších stranách zahradou, hospodářským objektem a hospodou. Okna byla lemována šambránami s uchy a schodiště zdobeno motivy čabrak.

Za barona Alberta Haaka, po roce 1819, zřejmě získal interiér empirová kamna a roku 1835 koupil Lhotice v dražbě František Smetana. Mladý Bedřich tu prožil nejšťastnější léta, která se motivy promítla do jeho pozdějších děl. Bedřich měl pokoj v prvním patře, které obývala rodina majitele. Roku 1844 musí ale František Smetana Lhotice prodat a koncem století zámek poškodil oheň. Jižní průčelí získalo sedlové šambrány a v budově hospody byl zřízen lihovar. V roce 1924 byla umístěna v jižním průčelí, podle návrhu Josefa Gočára, Smetanova busta od Otakara Španiela.

V 50. letech zabralo budovy zemědělské družstvo a až v roce 1972 získalo zámek okresní muzeum. Během generální rekonstrukce byly mimo jiné obnoveny přízemní arkády a zámek byl veřejnosti zpřístupněn roku 1984 s expozicí Hudební tradice Podblanicka. Obnovou prošla i smetanovská zahrada a v roce 2014 byla otevřena nová expozice Kraj tónů, připomínající hudební osobnosti Podblanicka a pobyt Bedřicha Smetany.

Galerie Samson Cafeé je nekuřácká kavárna, která je zároveň výstavním prostorem pro krátkodobé výstavy menšího rozsahu převážně regionálních výtvarníků, literární a hudební autorské večery, autogramiády a prezentační akce muzea. Objektu dala jméno rodina Samsonů, která ve městě žila v 16. a 17. století a jejíž členové zastávali v Rakovníku významné úřady. Při opravách v průběhu 20. století byla na domě odkryta renesanční sgrafita znázorňující výjev ze života biblického Samsona, která spolu s architekturou interiéru svědčí o renesančním původu přední části budovy.

Muzeu jej město pronajímá od roku 2001 ke kulturnímu využití. K tématickým výstavám jsou vyhlašovány workshopy a tvořivé dílny pod vedením lektora pro veřejnost. V roce 2013 zde byla pro tvořivé děti otevřena DĚTSKÁ DÍLNA S HERNOU, kde si děti pod dohledem rodičů, případně skupiny dětí na objednání s lektorkou, mohou vytvářet dekorační předměty podle vzorů vystavených děl či vlastní fantazie.