Byla, nebyla ve 13. století na Jindřichohradecku obec Jenczenslag a u ní gotická tvrz, anžto listiny z té doby se nezachovaly, nelze určit její počátek. Až l.p.1388 je panství připisováno Ondráčkovi ze Zásmuk, odjinud z Vlčetína. Podle jednoho z dalších vlastníků - Petra Lhotského ze Zásmuk se počíná obec s tvrzí zváti Lhotou. Pak opět v historických pramenech zeje díra, až do roku. 1530, kdy se lhotskými pány stávají rytíři Jan a Václav z rodu Kabů. Jan Kába se přičinil o přestavbu tvrze v renesanční zámek. Přehrazením Dírenského potoka se zámek octl uprostřed hladiny, v níž se vzhlíží jako v zrcadle. Rytířskému rodu Kábů, jenž sídlil na Lhotě do roku 1597, je také přisuzována červená barva zámku. Poté, co Kábové prodali lhotské panství Rútovi z Dírné jde Červená Lhota z ruky do ruky. L.p. 1620 ji Růtovi zabavil kyrysnický rytmistr Antonio Bruccio. Po jeho skonu ji získal rod Slavatů a posléze připadla rodu Windischgrätzů. Záhy přechází do rukou Františka de Paula z Gudenusu a přes rod Stillfriedů pak k Jakubu Veithovi. Od jeho dcery pak získává Červenou Lhotu poslední vlastník - rod Schönburg-Hartensteinů, jimž byl zámek po II.světové válce zkonfiskován.

V čase, kdy na zámku sídlili synové Jana Káby z Rybňan - katolík Bohuchval a utrakvista Jiří, vedlo jejich odlišné vyznání k neustálým sporům. Neuplynul den, aby mezi nimi nenastaly bouřlivé půtky, jež prý někdy končily i krvavými šrámy. Krvavé šarvátky prý byly příčinou, proč se koncem 16. st. počala Lhota červenat barvou i názvem.

V písemné historii Červené Lhoty, jež někdy byla zvána i Krvavou, zejí tajuplná prázdná místa , a tak prává příčina, proč se zámek červená, není známa. Lidové vyprávění si však svou příčinu našlo.

Jak dceru zámeckého pána odnesl čert

Svého času sídlil na zámku rytíř se svou ženou a dcerou. V radosti a vzájemné lásce těšili se z každého dne. Zvláště pak mezi dcerkou a matkou vzniklo velice pevné láskyplné pouto. Arciť jednoho dne postihla je krutá rána, matku sklátila závažná choroba. Zanedlouho vydechla naposledy a rytíř s dcerou si mohli oči vyplakat. Především ona se velice rmoutila a nesmírná bolest v jejím srdci zapříčinila, že víru v boha počala ztrácet. Bloudila po zámku jako bez duše a chmurnou beznadějí se v mysli zaobírala.

Otci neušlo její soužení. Netušiv nic o jejich temných myšlenkách, snažil se ji utěšit, anžto se domníval, že se utápí v žalu. Darmo ji však těšil, ona se soužila stále víc a víc. Co ji tíží mu nevypověděla, jelikož se obávala, že by ji zle vyčinil za její hříšné myšlenky. S nesmírným sebezapřením chodívala s otcem každou neděli do kaple na motlitbu. Až jednoho nedělního rána čekal na ni otec marně. I vydal se do její komnaty, aby ji ke spěchu pobídl. Arci se zlou se potázal. Sotva vstoupil do dveří, propukla v ní všechna marnost a beznaděj. Osopila se na něj, že na motlitbu nepůjde. Jako smyslů zbavená běsnila, že víra jí nic nepřináší a že nadarmo ztrácí čas motlitbami. V rozlícení popadla ze stěny posvátný kříž a mrštila jím z okna do rybníku. V tom okamžení se zem otřásla. Na zámek padla černočerná tma, blesky hrozivě protínaly oblohu jeden za druhým a hromy burácely s ohlušujícím rachotem. Náhle, kde se vzal, tu vzal, stál v  komnatě ohavný, smrdutý čert. V mžiku se neurvale chopil hříšnice a v tu ránu byl pryč. Zůstal po něm jen závan pekelného dýmu. Hrůzou zkoprnělý otec jen zalapal po dechu. Po té co hrůza odtrnula, rytíř se pokřižoval, padl na kolena a horoucně se modlil za spasení dceřiny duše. Bylo arciť pozdě, pekelná brána pohltila ji ve svém chřtánu.

Záhy se ozval křik vyděšených sloužících. I těžce se zoufalý otec zvedal ze země, aby pohlédl z okna. Dole spatřil několik sloužících, jak se křižují a ukazují nad okno, z něhož vyhlížel. Chvatným krokem spěchal na místo, kde stál hlouček služebných, pohlédl vzhůru a krev mu v žilách ztuhla! Jakoby nestačilo neštěstí, jenž jej právě potkalo, ďábel ještě zanechal na Lhotě znamení, jenž vlastním pařátem a krví jeho dcery učinil. Nad oknem se od bílé omítky zlověstně odrážel krvavý kříž, jako by hrozil peklem všem bezvěrcům či kacířům. I snažili se darmo tovaryši i mistři řemesla zednického kříž zabělit, pokaždé jeho děsivý krvavý odkaz pronikl přes bělobu. A jelikož kříž připomínající hrůznou událost drásal rytířovo srdce stále více, nechal původní bílou barvu zámku překrýt červenou.

Po nějakém čase počal v nočních hodinách bloudit po zámku přízrak v bílém hávu s křížem v ruce. To duše bezbožné rytířovy dcery nenalezla klidné spočinutí a za svůj hřích pykala i po smrti.