佛香阁是颐和园里最大的建筑，据传当初建园时，乾隆皇帝原打算按照杭州六和塔的样式建造一座九层的延寿塔。可塔刚建了一半儿就又拆了，后来改建成了现在这座八面三层的佛香阁。
据说，当年主持兴建清漪园的工部大臣为了讨皇上欢心，对所有的工程都催得很紧，他三天两头地到园子监工，并催促监工头要把所有的工期往前赶。原打算十年建成的延寿塔，他非让提前一年完工，这可就苦了干活儿的工匠们。
延寿塔在建到第五层时，不巧遇上了涝灾，那些天暴雨如注，水流为河。
为了能提前交差，监工头硬逼着工匠们冒雨施工，还命令他们必须在五个月内把第八层塔建好。转眼五个月过去了，塔的第八层也总算搭起来。
可谁知光顾着抢进度了，又遇大雨施工，整个塔身向西倾斜了好多，中间还裂了一条大缝。
这下麻烦可大了，塔建歪了，这可是欺君之罪，要被砍头的。眼看着离工部大臣要来验收的日子还剩下三天时间了，大伙儿都不知如何是好。
第二天一大早儿监工头不见了，有人看见他在夜里卷着包偷偷地出了园子，因为他有个拜把子哥们是看大门儿的，给了他一条生路。工匠们是逃不出去的，因为园里园外都有人把守。
监工头一跑，大伙儿更急了，过两天工部大臣来了一看，只有死路一条。
工匠们中有个王石匠，上过几年私塾，对八卦、周易略知一二，人送外号“王半仙”，遇到这样的事，大伙只能把希望寄托在他身上。于是他想了一个办法。
天黑了，一更刚过，大雨倾盆而降，并夹着雷鸣闪电。王石匠带这十几个身强力壮小伙儿爬上塔顶，挥镐扬锹，没费多大工夫，就把最上面那层拆下小半截。天快亮的时候，王石匠让那十几个小伙子回了工棚，自己往工部大臣住的玉澜堂跑去。
他是一边喊一边砸门。工部大臣还没有起来，听见有人大呼小叫，不知发生了什么事，大门刚一打开，王石匠就闯了进来，一下子跪到工部大臣面前，情绪紧张地说昆明湖里突然跳出一条金龙，将塔缠住后，三摇两晃地把塔弄歪了，还裂了一道大口子，砖瓦石料飞得到处都是。
工部大臣听了，吓得出了一身的冷汗，匆匆忙忙跟着王石匠前去查看。
来到塔下，只见乱石碎瓦摆了一大片，塔身确实有些向西歪，几个工匠正跪在塔下烧香求菩萨保佑。工部大臣不敢怠慢，火速禀报乾隆皇帝。
乾隆皇帝听了半信半疑，连忙起驾来到园子里。可他在塔下看了大半天儿，也没弄清楚是怎么一回事。
这时不远处走来一位风水先生，乾隆皇帝连忙让人把他叫过来，让他给看看塔毁的根由。
风水先生看了看斜塔，又转身看了看昆明湖，然后从怀里取出一本书，翻看了好一阵，才说这塔建得不吉利，方位不对选址不好，正好与这湖中的龙门相对，压了龙脉，惹怒了老龙王，所以龙王施了法术，毁了这塔。此塔若是不拆，日后还有更大的灾难。
乾隆皇帝最信鬼神，他听后急忙请风水先生说出破解的办法。风水先生说只有将这塔拆掉，别无它法。
乾隆只好传旨，快快将塔拆了。工匠们一听松了一口气，不敢耽搁，连忙拆塔。
原来那风水先生是王石匠叫一位工匠装扮，事前已教好了他在皇上面前怎么说，没想到乾隆皇帝真的信了。就这样，王石匠救了工匠们的命。
延寿塔拆掉后，乾隆皇帝总觉得万寿山上少了点东西，于是，他又请了一位风水先生重看风水。没过多久，他就传旨，在那塔的原址上兴建了一座八面四重檐的佛香阁。