黄山是具有革命传统的老区，早在五四时期，歙县、休宁、黟县等地爱国师生就积极声援五四运动。

1919年秋，旌德进步学生梅大栋、王同年、管栋忠等人从凫山书院毕业后，考入宣城省立第四师范学校。入校后，他们积极投入宣师的学生运动，参加了当时在校任教的党的早期革命活动家恽代英、肖楚女等同志组织的学生读书会，受到了革命思想的熏染，开始接触马克思主义，梅大栋很快就成为该校学生运动骨干，加入了社会主义青年团。

1921年6月，恽代英带梅大栋、吴华梓等4名学生骨干，以游黄山为名，来旌德、太平等皖南山区农村进行社会调查。6月19日，师生一行抵达旌德三溪，在宣师学生王同年家逗留了两天，邀请当地进步青年知识分子开会宣传反帝反封建思想，在旌德人民中播下了革命火种。之后，黄山各界进步青年，特别是在外埠求学和经商的进步青年，纷纷结社并出版诸如《古黟新语》、《黟山青年》、《徽声》等进步刊物，宣传新文化、新思想，唤起黄山民众的觉醒，激发民众的爱国热情，促进了马克思主义在黄山的传播。

1923年春，梅大栋应宣师同学李延瑞(泾县人)函约，由恽代英介绍去江西安源路矿职工子弟学校任教师。1924年元月由当时任安源路矿职工子弟学校校长李延瑞介绍，加入中国共产党。刘少奇任路矿工人俱乐部主任时，梅大栋担任秘书。1925年9月，安源工运和党组织遭到破坏。10月，梅大栋奉命携带了一尊银质马克思胸像，回到旌德梅村，以办学教书作掩护，从事地下工作。年底，应梅大栋的请求，芜湖团地委派中共党员曹宣天(和县人，系梅在宣师同学，安源同事)来旌德，协助梅大栋开展农运。他们在梅村创办了旌德三都农民补习学校作为活动阵地，宣讲反帝反封建的民主思想和马克思主义理论。11月，经梅、曹介绍，梅大梁、王士桢、朱鹏、程朝干、朱甲、张照谟、朱和尚等7名学员加入中国共产党，成立了中共旌德三都农民补习学校支部，这是黄山(徽州)第一个党支部。

1930年，曾参加潜山请水寨暴动的共产党员刘伯林从潜山辗转来到歙县，以卖雪花膏为掩护，开展革命活动，秘密发展党员，建立党的组织。在小练村，刘伯林陆续将陈友交、陈家兴、洪继明，何旺根、汪忠福、何令忠、陈灶炎、余金有、曹万财、童银六、林子娥等11名骨干发展为中共党员，并于1930年8月建立了歙县第一个党支部——中共小练支部。1931年7月，中共歙县临时县委在小练成立。

1930年冬至1931年春，先后有储德明、刘仲希、方鼐、王以仁、王农元、储洪元、夏承世、王乃吾等一批共产党员和红军骨干，自大别山来到祁门投亲靠友，以行医、教书、经商、帮工等为掩护进行革命活动。在刘仲希等人的组织和领导下，南坑、番村、沿边、石壁下和与祁门毗邻的江西浮梁严坑、塔坑等地都陆续发展了一批党员。1931年6月，全县已有中共党员64名，建立了2个区委、6个支部，嗣后，中共祁门临时县委正式成立，书记刘仲希，副书记方鼐。

1930年2月，潜山请水赛暴动失败后，共产党员韩文治、王谊、王高润、王天德等来到休宁，同年秋，他们在万安东北山秘密吸收蒋溢、邵逃荒等6人入党，建立了休宁县第一个党支部——东北山支部，蒋溢任支部书记。1931年6月，休宁县城、万安、屯溪一线建立和发展了11个支部、91名党员，为统一领导，在西馆小学成立了以韩文治、朱灿霞、汪宪等组成的中共休宁临时委员会。1931年11月，休宁党组织划归徽州工委领导时，正式成立中共休宁县委。

1930年9月，原潜山县革命委员会青年委员汪大中（汪润吾）来到黟县，在黄梓坑其叔父汪步高家落脚，以教书为掩护，秘密进行革命活动。11月，在黄梓坑先后发展了多人加入少共团建立了团支部。1931年春，中共安徽省委派朱晓村（金汤）来黟县发展党组织。4月，在朱晓村的主持下，黄梓坑的少共团员转为共产党员，建立了黟县第一个党组织——中共黟县特支，先后隶属中共安徽省委、省临委。7月，党员发展到29人，特支扩建为中共黟县区委，书记汪大中，隶属中共芜湖中心县委，下设平坑、石灰坑、黄梓坑3个支部。1931年汪希直，余纪一受在上海的中共临时中央政治局派遣到黟县发展党组织。1932年春，在城区蔚文小学成立中共黟县特支。同年夏，在特支的基础上建立中共黟县区委，隶属中共临时中央政治局，这样，就有了隶属关系不同的两个黟县区委。

1931年前，来自鄂豫皖苏区的共产党员王礼松、刘仲弟等，转移到谭家桥地区，以种山、教书等职业为掩护，开展秘密建党活动。他们一面联络由潜山，太湖，霍山，六安、怀宁、黄梅、广济等地转移来的共产党员，一面培养和发展地方贫苦农民入党。

同年2月，中共安徽省委派组织员到徽州指导建党工作。王礼松与省委组织员取得联系后，同月在潭家桥一带建立了菖莆田、南山和高山3个党支部，党员32人。这是太平县最早的中共组织。其中菖莆田党支部，书记黄国华 (菖莆田人)，党员7人； 南山党支部，书记陈伯满(西文高山人)，党员12人；高山党支部，书记程小发(菖莆田人)，党员13人。

1931年6月，经芜湖中心县委批准，中共太平县临时委员会在谭家桥南山成立，隶属芜湖中心县委。书记王礼松，秘书刘仲弟。