Historie Dolní tvrze se prolíná s nedaleko ležící tvrzí Horní, která je považována za o něco starší. Historiografii obou tvrzí komplikuje fakt, že z některých starých písemností není zřejmé, ke kterému sídelnímu objektu se vztahují.
Existují důkazy i o existenci třetí tvrze, která se však již nedochovala.

stará mapa Kestřan

Jedním z prvních písemných pramenů, zmiňujícím feudální sídlo v Kestřanech, je záznam o daru píseckému klášteru od Alberta (resp. Albrechta) z Kestřan z r. 1315. Albert měl tři syny – Michala, Šimona a Bartoloměje, následoval tedy přirozený proces rozrodu a po té i rozpad původního rodu. V druhé polovině 14. st. se pak jednotlivé dědické podíly dostávají koupěmi, příp. náhradou za nesplacené dluhy nebo i výprosy u královského dvora do držení jedincům, kteří již leží mimo původní rodovou linii Alberta z Kestřan.

Dolní tvrz získala své druhé jméno pravděpodobně díky Mikuláši, synu Michala z Kestřan, o kterém je písemná zmínka r. 1354, a který se ztotožňuje s Mikulášem Barochem, členem manského senátu dvorského soudu. Dolní tvrz se v pramenech výslovně uvádí pod jménem Barochovská až v r. 1416. Roku 1475 prodává Mikuláš Baroch Dolní tvrz Bohuslavovi z Kestřan, držiteli Horní tvrze. V 90. letech 15. st. získává obě tvrze příslušník významného panského rodu Jindřich ze Švamberka, zástavní držitel královského panství Zvíkov. Jindřich pak dosáhl zrušení manského závazku. V Dolní tvrzi je postupně budován pivovar. Dle záznamu švamberského archiváře Březana se vařilo v Kestřanech pivo ze sladu dováženého ze Zvíkova již kolem r. 1508, nicméně některé prameny uvádějí zřízení pivovaru až v roce 1553.

Během stavovského povstání byly Kestřany r. 1619 po prohrané bitvě u Záblatí přepadeny a vypleněny císařskými husary.

Roku 1652 získává Kestřany dcera Jana ml. Viléma ze Švamberka Františka Polyxena spolu se svým manželem Karlem, hrabětem z Paaru. Po smrti svého manžela ji prodává a tvrz několikrát mění majitele. V roce 1700 se stává majetkem Ferdinanda ze Schwarzenberka, který ji tak zařazuje do svého rozsáhlého protivínského panství.

Po r. 1948 přechází tvrz do socialistického vlastnictví a je využívána pro zemědělské účely. Celkovému postupnému chátrání až devastaci zabraňuje podnikatel Ján Hric, který ji po sametové revoluci kupuje a od r. 2008 pod pečlivým dohledem památkářů nákladně rekonstruuje. Rozsáhlou rekonstrukci dokončuje až společnost Cherwall, která je současným vlastníkem.