臨江閣は近代和風の木造建築で、全体は本館・別館・茶室から成る、国指定の重要文化財です。本館は明治17年9月、当時の群馬県令・楫取素彦（かとり もとひこ）や市内の有志らの協力と募金により迎賓館として建てられました。また茶室はわびに徹した草庵茶室で、京都の宮大工今井源兵衛によって明治17年11月に完成しました。別館は明治43年一府十四県連合共進会の貴賓館として建てられた書院風建築です。