杨国忠府上有四座香阁。这四香分别是：沉香、檀香、麝香、乳香。楼阁用沉香木制作，栏杆用檀香木，把麝香和乳香分别掺和在泥里用来抹墙，和这四香造成的楼阁清气怡人，香飘四季，就连皇宫里的沉香亭都比不上杨国忠家的四香阁。每年春天花开季节，杨国忠都邀请一些人来他府上做客赏花，客人们坐在四香阁中分不清扑鼻而来的清香是花香还是楼阁本身散发的香气。看到杨玉环的亲人们如此张狂，如此仗势欺人，这是为什么呢，还不是因为杨贵妃的原因，如果没有杨贵妃，他们能得到这一切吗？
而玉环对玄宗的感情也日益加深，希望玄宗只宠爱她一个，已经容不得半点移情别恋，但再卿卿我我的生活也会遇到摩擦，更何况玄宗又是个风流天子呢？因此，在玄宗和玉环之间的感情生活中也曾先后出现过两次小小的不愉快。第一次不愉快是发生在天宝五年，贵妃受到玄宗的责备，被送出宫。据说这次是因为一个叫梅妃的娘娘。
梅妃本姓江，是莆田县人。父亲江仲逊，世代当医生。梅妃九岁的时候能朗诵《诗经》，对父亲说：“我虽然是个女子，但期望把这种吟诗作赋作为自己的志向。”她这番话令她的父亲感到很惊奇。开元年间，高力士出使福建之时，梅妃已经到了盘发的年纪。高力士看到她年轻漂亮，把她选中，带回皇宫，服侍玄宗。她得到了玄宗的宠幸，长安的大内、大明、兴庆三宫，东都洛阳的大内、上阳两宫，几乎有四万嫔妃、宫女，自从得到梅妃之后，玄宗把她们都看成尘土一样，宫中的美女也自认为及不上梅妃。
梅妃善于写诗作文，把自己比作东晋的谢道韫。素淡的化妆，雅致的衣服，姿态明媚秀丽，用笔画描绘不出来。梅妃生性喜欢梅花，在她住处的栏杆、门槛旁都种着几树梅花。玄宗还曾经在匾额上题写《梅亭》二字。在梅花开放时，就作赋赏梅，到了半夜还留恋在花下，不愿离开。当时，长期太平，天下没有战争，玄宗对兄弟之间，都很友好亲密，每天在一起闲聊的时候一定有梅妃在身边侍候。玄宗明她切开橙子，去赐给各位亲王，到了汉王面前，汉王偷偷用脚踩梅妃的鞋，梅妃立刻退回阁楼里。玄宗连续命令召她出来，梅妃回答说道：“正在穿鞋，珠子脱落，穿完珠子就来。”过了好长时间，玄宗实在忍不住了，就亲自去命梅妃出来，梅妃拖着衣服迎接皇上，说道：“臣妾胸疾发作，不能前去了，请陛下见谅。”玄宗一见如此，也只得作罢了。
有一次玄宗与梅妃比赛品茗，玄宗看着各位亲王开玩笑说道：“这是个梅精，如果赏给白玉笛，让她跳惊鸿舞，她能使满壁生辉。寒茶，她又赢了我。”梅妃此时应声说道：“草木游戏错赢了陛下。假设治理天下，调治宰辅大臣，陛下自有章法，我怎能与陛下比赛胜负呢？”玄宗听完，特别的高兴，对她更加宠爱了。
到了杨玉环一出现，梅妃所受的宠爱便一天天被杨玉环给夺走了，令玄宗几乎已经把梅妃给忘了。但有一天，玄宗和高力士路过梅园看到了梅花，不禁又想起了梅妃，忽然有了一种想见梅妃的冲动，就令高力士去上阳宫命梅妃接驾。梅妃自然高兴非常，于是轻扫蛾眉，淡点朱唇，穿上最漂亮的衣服去见玄宗，她跪在地上对玄宗哭泣道：“贱妾负罪，原以为不会再受恩宠，但想不到还能再睹天颜。”说毕又是嘤嘤一阵痛哭。玄宗看到此情此景也是一阵的难过，怜爱之情不禁油然而生，伸手把梅妃扶了起来，并说道：“爱妃，苦了你了，今日朕不会走了，朕还想与你一起赏梅，品茗，与你一起吟诗作赋呢！”梅妃如含羞之花一般依偎在玄宗的怀中，两个在这一夜之中说不尽的恩爱，说不尽的万种风流，其中资味自不必尽说。
玄宗与梅妃只顾了无尽的欢爱了，到了第二天，玄宗根本就没有按时醒来，正当此时，一个小太监慌慌张张的跑进来奏报说道：“启禀陛下，贵妃娘娘已经来到了，现在该当如此是好？”玄宗一听此言，不由得是一阵慌乱，赶忙手忙脚乱的穿好的衣服，又思忖不能让贵妃见到梅妃，可是现在送出去已经晚了，该怎么办呢，玄宗左右看了看，看到了帷幕的夹层，不禁眼前一亮，忙抱起梅妃，把她藏到了那里。