Situato nella valle del Paglia, Castel Viscardo ha origini nel XIII secolo, quando Guiscardo da Pietrasanta, nipote di Urbano IV, diede inizio alla costruzione del castello.
Ed è proprio sul castello che gravita una leggenda suggestiva: quella della "dama bianca", una nobildonna a cui il castello appartenne, la quale si aggira ancora nelle sue stanze nelle notti di plenilunio.
Nella Chiesa parrocchiale, si possono ammirare un crocifisso in avorio, donato dal Re Sole, Luigi XIV, ad un nunzio apostolico della famiglia Spada, e la bandiera di una nave turca, bottino di guerra di una spedizione di un altro componente degli Spada.
A Castel Viscardo, nel XVI secolo, era rilevante la produzione di laterizi: ne sono testimonianza le fornaci, che hanno prodotto materia prima per lavori di restauro di importanti monumenti come il Colosseo, Piazza del Campo a Siena ed altri.
In località Caldane è stata identificata una necropoli etrusca arcaica con tombe a camera scavate nel terreno naturale. Le tombe esplorate – in numero complessivamente di sette – sono costituite da una camera a pianta quadrangolare con banchine lungo i lati e fossetta centrale alla quale si accede da un corridoio a cielo aperto.
Castel Viscardo è uno dei 15 Comuni membri della Comunità Montana del Monte Peglia e Selva di Meana che promuove le risorse ambientali di quest'area particolarmente vocata al turismo naturalistico.