自1931年2月至6月，黄山（徽州）地区建立休宁、歙县、祁门、太平4个临时县委以及黟县区委，石埭特支，绩溪支部，计党员342人。由于上述党组织大多隶属芜湖中心县委，个别的隶属中共临时中央政治局，为了统一领导皖南党组织，1931年11月，中共徽州工作委员会在秋浦县（现东至县）雁落坡建立，机关驻仙寓山庙内，储峻滨任书记。1932年10月初，根据中央指示和赣东北省委会议的决定，工委机关从秋浦经祁门西坑迁至歙县小练村。工委先后辖贵池、秋浦、东流、祁门、黟县、歙县、休宁、太平、石埭、旌德、绩溪、浮梁、鄱阳、彭泽等14县党组织。

工委始属芜湖中心县委领导，1932年3月，中心县委遭破坏，失去联系。7月，与中央直接发生关系，隶属中共临时中央政治局领导。同时，由于地理和工作上的原因，赣东北省委要求中央将徽州工委划归其领导。1932年秋冬，赣东北省委派宁春发到皖南，并将徽州工委改为中共皖南特委。