In den Mauern des Schlosses Červená Lhota wird seit 600 Jahren gelebt. Während dieser Zeit änderte das Schloss sein Aussehen mehrmals. Zum ersten Mal war es kurz nach 1530, als die örtliche mittelalterliche Festung, die 1465 schriftlich dokumentiert wurde, den Ritter Jan Kába aus Rybňany kaufte und mit der Renaissance begann. Die vielleicht größte und schönste Veränderung wurde von Lhota in der Zeit nach 1641 registriert, als der berühmte tschechische Adelige Vilém Slavata aus Chlum und Košumberk Eigentümer des Schlosses wurde, für die im ersten Stock barocke Veränderungen vorgenommen wurden.
Die letzten baulichen Anpassungen beziehen sich auf die fürstliche Familie Schönburg-Hartenstein, der das Schloss bis 1945 gehörte, als verstaatlicht wurde.