上海立县之前，在镇西约6里处的淡井里，有一座华亭城隍行殿，俗称淡井庙。建县后经过一百五十余年，明永乐年间 (1403—1424) 才将方洪北岸原金山神庙加以扩充，改为上海县城隍庙。相传，城隍是道家保护城池的神，同时也庇佑着市民，城隍庙是地方神的祭祀之地，城隍神则多为生前有惠于民的清官良吏，以期其殁后也能为民“御大灾、捍大患”。上海城隍庙其前身原为金山神主、西汉大司马霍光神祠，故今庙内前殿仍由霍光坐镇，后殿供奉上海城隍神秦裕伯，民间俗称“一庙二城隍”，国内罕见。
位于城隍庙西北面的沉香阁，原由豫园主人潘允端所建。潘允端于明万历二十八年(1600 年)督办漕运疏浚淮河打捞沉船时觅得一尊精美观音佛像，甚为喜欢，又于当夜梦见其母嘱托，即派人护送佛像回上海建阁供奉。因佛像由名贵海琼水沉香木雕制，芳香十分浓郁，故名“沉香阁”(据考，该佛像系隋代大业年间南洋赤土国回赠隋炀帝之礼，在淮河中遇风浪沉没，已卧伏河底近千年)。明代之后，沉香阁迁址重建，曾改名为“慈云禅寺”，拥有丛林寺院规模，与龙华、静安、玉佛三大名刹齐名今沉香观音虽非原像，但仍形神兼具、仪态万方，为佛中珍品，香火终日兴盛。阁内现还开设尼众班，已成为全国最大的比丘尼寺院之一。