創建は天平7年（735）聖武天皇が大仏造立平安祈願のため、良弁僧正に命じて建立させたのが始まりと伝えられるが、焼失し鎌倉時代に解脱上人により中興された。
五重塔は、鎌倉時代の傑作で国宝に指定されている。十一面観音菩薩立像や文殊堂、絹本著色法華曼荼羅図や海住山寺文書は重要文化財。