鐘樓與鼓樓，首先出現在民間住宅里。西漢出土的民間住宅里的壁畫望樓，應當是最早的鐘鼓樓，里面安裝有大鼓。望樓的主要用途是為了防止壞人來搶劫，人們在較高的望樓上可以觀察和瞭望；以后到明清乃至民國年間，很多住宅中都有望樓。望樓也好，鐘鼓樓也好，都是為防衛與瞭望而產生的。

　　伴隨著城市的發展，城市里也開始建造這種鐘樓、鼓樓。城市面積甚大，漢時又沒有鐘表，只好依靠敲鐘、擊鼓來報時間，即所謂晨鐘暮鼓。這種方式后來在公共建筑中也得到發展，因為公共建筑里也需要報時，所以廟宇、寺院、書院、會館里也開始建設鐘樓與鼓樓。

　　佛教寺院中一般都要建造鐘樓與鼓樓。在伽藍七堂制度中也將鐘鼓二樓算作一堂，人們常說“左鐘右鼓”，這是指面南的寺院而言。據《寺塔記》上說，鐘樓在寺之東側。印度最早的佛寺——祇園精舍，在無常堂里即懸掛鐘，名曰“頗黎鐘”。撞鐘時，要緊七慢八，共108響。

　　中國佛教寺院中的鐘鼓樓最初位于大雄寶殿之后部的左右兩側，后來鐘鼓二樓逐步前移，到晚清時已移至山門之左右兩側。小規模的寺院，掛鐘鼓不設樓而建設鐘架、鼓架立于大殿之內外。大寺院單獨建造鐘鼓二樓，例如北京之大鐘寺，即以鐘樓為主；其他如法海寺、法源寺、法華寺、廣濟寺、智化寺、普陀山普濟寺等，皆設有鐘鼓樓。這些大寺院都將鐘鼓樓設立在山門之兩側，左鼓右鐘。

　　還有一個特殊的例子。在山西原平縣境內西部的山間有古惠濟寺一座，寺院入門后以中軸為中心，左右對稱，前殿、中殿、大雄寶殿、后閣依次排列，前低而后高，節節高起。這是傳統布局。全寺建筑左右排房接二連三，井然有序，周圍有高墻，寺院安然肅靜，風不揚沙；寺僧不多，但是房屋古老。

　　這座寺院的奇特之處在于其鐘鼓二樓的位置，一般的佛教寺院，山門偏后為鐘鼓二樓；而惠濟寺把鐘鼓二樓地位抬高，建在寺院的兩側山峰之頂端，這在全國是唯一的例子。這是充分利用寺院周圍地形、地貌設計出來的，也是一般人們所想象不到也不敢這樣做的。這種做法十分新穎，無形中把兩座山與佛寺融為一體。鐘聲鼓聲遠傳，使佛寺威名遠揚。