徽州磚雕由明代徽州窯匠鮑四首創。相傳鮑四跟父輩學會了燒窯活計，磚瓦生意雖好，但燒磚要花去不少時間和人力，賺不了幾個錢。他看那些徽商會做生意的往往都富了回來，大把大把的錢鈿往外掏，眼饞得很，便買了磚窯到淮安去做生意。鮑四幾年生意一做，賺了無數的錢財，竟成了徽州首富。

　　他非常得意，就處處表現自己有錢，在淮安修了鮑四廟，塑了自己的全身像，又揭榜要造一條鮑四街，說自己錢財無數。這時一個手抱長頸瓶，瓶插楊柳枝的中年婦女，來到鮑四面前一個嵇首說：“鮑老板，你別吹牛，世上只有技藝無盡頭，哪有什么錢財無限。”

　　鮑四聽了漲紅了臉，說：“你會什么技藝！”中年婦女說：“我會做蓮花”鮑四不信，憑借自已錢多，提出要打賭，自己一步放一個元寶，對方得跟著放一朵蓮花，一決輸贏。那婦人滿口答應，向前走一步，用手往地上一指，地上便現出一朵蓮花，鮑四便跟在后面放上一只元寶。

　　這樣一步一放，半里路下來，那婦人的蓮花還有，但鮑四的元寶沒有。鮑四只好認輸，淮安人使用地上的元寶在那放蓮花的路面上蓋了街房，起名叫“蓮花街”。鮑四一下身無分文，只得砸了廟中的自身像，湊了點盤纏，回到徽卅，只得又重操舊業——燒窯。

　　有人告訴他那以蓮花賭元寶的婦女是觀世音，鮑四領悟，“錢財有限，技藝無窮”是神仙教誨，從此一心歸門燒磚，由于對蓮花印象太深，便燒起蓮花磚，漸漸又在磚上刻了花木、蟲魚、人物、樓閣。

　　三年后，鮑四技藝逐漸嫻熟，收了幾個門人一心研究磚雕。其時，一些徽商發財致富后，紛紛回故鄉大興土木，修詞堂，建宅第，往往不惜重金。秀麗精美、清新淡雅的磚雕被廣泛應用。從此徽州磚雕發展起來，名揚全國。