衢州城墻始建于東漢初平三年(192年),原為土墻,唐以后開始以磚石筑墻。北宋宣和三年(1121年)郡守高至臨重修舊城,莫定了后世規模。
城墻平面呈長方形,東南長,南北稍短,東南角城墻依崢嶸嶺南麓而走,周回四千五十步(約6500米),西臨天塹衢江,東南北三面皆設寬闊的護城河,共設城門六座:東門迎和、南門禮賢(后又稱通遠門、光遠門)、西門航遠(后又稱水亭門、朝京門)、北門永清、小南門清將(后又稱前湖門、魁星門、通仙門)、小西門和豐(后又稱埭塯門、通廣門)。衢州城墻經歷代多次重修,現存城墻基本為明、清和民國時期的遺跡。
城墻平面呈長方形,東南長,南北稍短,東南角城墻依崢嶸嶺南麓而走,周回四千五十步(約6500米),西臨天塹衢江,東南北三面皆設寬闊的護城河,共設城門六座:東門迎和、南門禮賢(后又稱通遠門、光遠門)、西門航遠(后又稱水亭門、朝京門)、北門永清、小南門清將(后又稱前湖門、魁星門、通仙門)、小西門和豐(后又稱埭塯門、通廣門)。衢州城墻經歷代多次重修,現存城墻基本為明、清和民國時期的遺跡。

目前,衢州府城的護城河體系保存基本完整,六個城門臺基也基本完好,另外還有殘破程度不同的數段城墻遺址共2000余米。
其中東段城墻約700米,北段約300米,西段約120米,南段約65米。現存城門臺基的平面多為“工”字形,以大西門為例,城門臺為前后兩道并列拱券中夾天并組成,底平面長22.82米、寬12.36米;頂平面長22.34米,寬11.88米;前門洞寬4.22米、深3.22米;后門洞寬4.88米,深6.68米;天井口寬5.24米、深2.30米。城臺高7.4米,用八層條石錯縫平砌。西門、小南門和東門的城臺形制及結構與大西門基本相同。

在衢州城內北門街南端的十宇路口,還有一座建于明萬歷年間(1573—1620年)的四門塔式鐘樓基座。其平面呈正方形,邊長約13米,高4.6米,由四道拱券圍合中央天井組成,基座上原建有二層樓閣,后毀于戰火。
近年來,幾座城門周邊已修建古城墻遺址公園,并于1999年復建了大西門城樓和鐘樓樓閣等建筑,遺址公園環境古樸幽靜,古城整體風貌也得到了一定程度的恢復。此外,在大西門和大南門的維修過程中,先后有“南宋開慶元年、嘉定三年”、“元至正十三年”,以及“明崇楨十三年”等紀年城磚出土,成為鑒定衝州古城歷史的重要依據。

衢州府城地處浙西門戶,四省通衢,歷來是軍事重鎮,為兵家必爭之地,其城防體系是研究我國古代軍事思想和城防戰略的真實案例,同時,衢州城墻近兩千年的修繕歷史,也記錄了歷代修城的工藝特征和材料演變等歷史信息。