根据国共双方达成的协议，1938年2月，南方八省十三个边区的红军游击队开始在岩寺镇集中，组成军部和一、二、三支队，4月组建先遣队北上抗日。新四军在岩寺集中整编前后不过三个月，但在新四军建军史上却具有重要意义，它标志着新四军从一支分散的游击力量向正规化的抗日革命武装力量的历史性转变。

当时，新四军军部就设在岩寺镇荫山巷的金家大院。大院是一组清末徽派古民居建筑群，包括四幢三间两层的砖木结构楼房，及前后院落，占地面积3000余平方米。军部机关及其下属机构卫士排，军需处，参谋处等同时设在军部附近的百姓家中，机要科及电台设在军部以东百余米的洪桥。洪桥始建于明成化五年（1469），是一座结构精巧的廊桥，当年，叶挺将军常在桥廊与群众促膝谈心。1995年，军部旧址被公布为黄山是首批爱国主义教育基地和国防教育基地。1998年旧址被修复，并举办了军部陈列及图片展览。1999年10月，军部旧址正式对外开放，并成为新四军历史上五处旧址之一。岩寺文峰塔南面有一座凤山台，叶挺，陈毅等曾登台阅兵，又称为“点将台”。台上原有三榭，中间一榭供奉佛像，左右二榭供人憩息。大门上有“凤山灵境”四字镌刻，中榭悬有“中天绩翠”匾额。