祇王寺は「平家物語」で知られる祇王が、平清盛の寵愛を失い、妹の祇女、母の刀自（とじ）とともに出家し、入寺したところといわれている。

萱葺きの草庵には本尊大日如来と、祇王らの木像が安置されており、苔の庭に青もみじの間から木漏れ日が差し込み、いにしえの物語にふさわしい趣。控えの間の大きな円窓は、境内の緑葉を通って差し込む日差しが障子に色とりどりの色彩を映し出すことから別名「虹の窓」とも呼ばれている。