もともとは、新発田藩をおさめていた溝口家の家老や重臣の屋敷があった三ノ丸に建っていたという。新発田市菅谷の豪族として知られていた武者家の別荘として建てられ、町中の学校に通う子供たちの寄宿舎としても使われていた。2階建ての部分は大正14年に建築。母屋の平屋部分は明治初期から中期にかけてだろうと推測されている。また、「武者亭」の書は、武者家のご子息である武者孝氏によるものである。

明治35年、八代目白勢長衛によって建てられた。 その背景には同年におこった大飢饉があったという。 白勢家では飢饉の対策として、小作人が搬入してきた土と同じ量の米を交換し、その土で庭に築山をつくり、農民を救った。 そして飢饉で亡くなった人たちの供養としてこの紫雲閣をつくり、観音像を祀った。越後の銀閣寺ともいわれている。

明治の頃、「古着屋日本一」ともいわれ、全国的にも有名だった村安商店。その村山家が客人らをもてなすために建てた別宅が現在の苔香荘である。新発田屈指の庭園を備えていて、明治11年、明治天皇が北陸巡幸した際、立ち寄って、休息したとも伝えられている。また、「苔松庵」の書は、新発田藩12代藩主・溝口直正公のひ孫であり、大倉財閥の総帥・大倉喜八郎翁のひ孫でもある書家・大倉真澄氏によるものである。