大业三年七月，雁门关北面的山川河谷中突然涌出一支五十万人的队伍，旌旗蔽日，人喧马嘶，惊动得四面山林狼奔豕突。然而，从塞外到雁门直至晋阳，却没有烽火狼烟来报警告急。
原来，这不是外族入侵，而是大业皇帝北巡大漠的队伍路经此地。
出游扬州的成功，使杨广巡幸天下的兴致大增。沿运河而下，由陆路回京，往返几千里，展示了大业王朝的昌盛，让中原及江南百姓目睹了皇家的威仪风采。大业隆盛，远非秦皇汉武堪比。
然而，仅仅显赫于国内庶民还不足以示威，于是，杨广又想到了塞外北疆的小国夷族。他返回洛阳不到两个月，便驾临长安，从西京出发，经晋阳，过雁门来到这里，继而北上至榆林，北渡黄河到定襄，巡视突厥可汗的部落牙帐。
开皇时候，突厥的东西两部族间多次内讧，大动干戈，文帝曾派时为晋王的杨广率兵北上，支持亲隋的西突厥达头可汗击败了东突厥。此后西突厥声势渐壮，至仁寿三年时，将东突厥全部降服，首领称启民可汗。杨广嗣位，启民可汗更表示归顺臣服。东京落成大典，启民可汗前往洛阳朝贺，亲眼目睹了中原的繁华富足，特别是被满街人那华丽服饰弄得眼花缭乱。当即上表请求大业皇帝恩准突厥人改穿中国服饰，皇上虽然非常高兴，却没有准奏。所以，在杨广看来，许多夷蛮部族完全没有必要用武力征服，只要用抚慰的形式炫耀一下自己的富强威武就可以让他们俯首帖耳。此次北巡，就是一次这样的抚慰。
雁门关地处恒山山脉西南，关外的馒头山下，峰峦之间有一片较平缓开阔的地带，叫连谷。这里树林茂密，河谷宽阔，水美草肥，引得无数飞禽走兽出没其间。御驾至此，杨广忽然狩猎的兴致大发，遂传令扎下大营，要在连谷这地方痛痛快快地打几天猎。
可是非常扫兴，接连两天骑马列阵、鸣金击鼓，却没见有几、只走兽出现，只用弓弩射到了几只飞禽。杨广不由得兴味索然。正在这时，有侍卫来报：齐王杨暕派人送来猎获的麋鹿、野猪百只。
杨广疑惑地问：“这就怪了，朕这边一只走兽未见，齐王那边怎么就会打了那么多？”
随驾北巡的御史大夫张衡奏道：“齐王在陛下左右两侧二十里列阵，截断了走兽的道路，陛下这边当然就没有麋鹿和野猪可猎了。”
杨广一听，脸色立时变了，骑在马上原地兜了两圈儿，也没发作出来，最后只说了一句：“回营！”大队人马就前呼后拥地跟皇上回了营帐。
看似一点小事，却勾起杨广心头几乎要忘记的不快。从扬州回到洛阳不几天，杨广就遇到两件很不痛快的事，第一件是高丽国竟没派人来朝贺；第二件是皇太子杨昭死了，而且与左仆射杨素死在同一天。
杨昭是杨广与萧后的长子，开皇五年出生，从小就很懂事理，深得文帝和独孤皇后喜欢。开皇十年一月，被文帝封为河南王。
杨广被立为皇太子之后，杨昭承袭了父亲的爵位，被封为晋王。杨广嗣位，于大业元年一月立杨昭为皇太子。杨广迁都东京，命杨昭留守长安。
杨昭生性谦恭谨慎，从不怒形于色，即使遇到极不满意甚至愤恨的事，充其量只说一句“太不应该了”之类的话。生活上很节俭，有祖父遗风，与父亲年轻时的仁孝也颇为相似。只有一点不像杨家遗传，杨昭看似心宽体胖，却柔弱多病，每到风寒暑热季节，或饮食起居稍有不慎，就常常十天半月卧床不起。
杨广巡幸扬州返回东京，杨昭早已奉旨提前几天由长安赶到洛阳迎驾，参加了端门外盛大的入城庆典。次日，皇上于宫城隆重设宴，接受文武百官及各国使者的朝贺。在酒宴上，杨昭自始至终并没有什么反常的形色，可是第二天他就病倒了，三天以后不治而亡。巧得很，老臣杨素也是在参加了酒宴之后的第二天重病不起，又与杨昭同一天亡故。很快，宫中暗地里便有了传闻，说杨素久病已是无人不知，皇上却旨令文武百官宫中与宴，不得有缺，杨素不敢违旨，便拖着病躯入宫。皇上见杨素受封楚国公这么久竟然还活着，心中大为不快，命人暗中将一种效力较缓的毒药放在酒里，赐给杨素。却不知哪个环节出了差错，侍宴的仆从将毒酒也送给了杨昭，所以才使两人同宴饮酒，同日病亡。
这样的议论很快传到了杨广耳朵里，他暴跳如雷，当即就要传令将那晚侍宴的仆从宫娥全部问斩，被内史侍郎虞世基跪地死谏，好说歹说总算把皇上给劝住了。
虞世基说：“陛下，臣冒死问一句，陛下可是真的让人在酒里下过什么药？”
“混账！朕堂堂天子，怎么会干那种卑鄙勾当！”“当然不会。可是，陛下，若是把那晚侍宴的人都杀了，制造谣言的人就会说，陛下这是在惩治送错了毒酒的侍从。”
“这……”杨广一时语塞，想了想说，“那好，朕命你把那制造谣言的人追查出来，斩首示众！”
“陛下，”虞世基说，“臣以为此举也不甚妥当。诸如此类谣言只是在宫中暗地传播，掀不起什么风浪。陛下不去理会它，不久便会无声无息。若是一意追查，追得松了不管用，查得紧了，势必兴师动众。如果下面办事的人再用刑逼供，受刑者情急之下乱咬乱攀，又会株连无辜。这样闹起来，朝野不安，人人自危。如今的百姓对不利于朝廷官府的事宁可信其有，不去信其无，大业初定之期人心浮动，对国家社稷多有不利，望陛下三思，万不可因小失大！”
杨广觉得虞也基的话不无道理，可是还有些于心不甘，又说：“照你一说，这事只有听之任之了？”
“以静制动，看似听之任之，实则暗中观察，细细揣摩。不是不报，时机未到！”
杨广无语，其实是默许了。自古以来的官场上，一个人的突然死亡，就意味着另一个人的意外高升。杨昭猝死，使齐王杨暕立时成了朝中群臣注视的焦点，都认定了他不久便会被立为太子。尽管杨昭有长子杨倓，但尚在年幼，没有立为太子的可能。
杨暕比杨昭小两岁，今年刚好二十。他是杨广次子，也是萧后亲生，从小极受父母喜爱。他聪明机灵，既好文又好武，杨广曾夸他“颇涉经史，尤工骑射”。杨昭死后两天，杨广即传旨将齐王杨晾自豫州牧调任河南尹，负责管理东京及近畿的一切政务，并参与朝廷机要，还将原在杨昭身边的二万多吏兵都悉归其属。这又是一个明显的征兆：看来皇上决心立齐王为太子了。更有甚者，东京城里纷纷传言，有人于某日黎明时在天津桥头捡到一张自天而降的字符，上写：“太子逝，朝野瞩望，皆以齐王当立。”
所有这些，杨广都听在耳中，记在心里，他将自己从晋王而太子、而皇帝的经历回顾一番，决心如虞世基所说，以静制动，细细揣摩了。
果然，杨暕到洛阳上任不久，前去齐王府拜谒致礼的文臣武将、名门望族和富商豪绅便络绎不绝，齐王府门前的道路常被车马堵塞。
不论是做人还是做官，最忌得意忘形。不过得意而忘形尚情有可原，而未得意先忘形，就是为官为人之大忌了，如是，十之七八忘形者难再得意。
杨广仅在三个月的时间里，就听说了许多关于齐王杨暕未得意先忘形的事情。例如：杨暕十分骄恣任性，亲近小人，他身边的亲信多是不守法纪的无耻之徒，如乔令则、刘虔安、陈智伟等即是。乔令则见杨暕喜迷声色，更加恣行妄为。他们暗访得知谁家女美，就以齐王名义强行拉入齐王府，随意污辱，尽兴后才放回家中。杨暕府中自养着歌舞乐班，还嫌不够，每每酒宴，都要去街市的青楼或茶馆请歌妓助兴，歌罢常留宿在齐王府。
朝廷制度，县令无故不得出境。伊阙令皇甫诩与杨暕关系甚密，杨暕多次违禁将他带出去到处游玩。
杨暕的发妻、齐王妃韦氏早亡，杨暕便与韦氏的表姐元氏私通，还生了一个女孩，外人极少知道。杨暕调任河南尹，将元氏一起带到洛阳，不久，杨暕命乔令则找来一术士相面。术士指着元氏说：“此女当做皇后。”又对杨暕说：“大王贵不可言。”杨暕听了非常得意，给了那个术士许多赏赐……凡此种种，传到杨广耳朵里，使这位刚刚失去长子的父亲极不愉快。如果说，他原有意立杨暕为太子的话，现在他却要慎之又慎了。这次，他让齐王随驾北巡，临行前命内史侍郎虞世基在自己北巡期间仔细查访杨暕的言语行为，回来后一并奏报，酌情议处。
然而，但就今天打猎这件事情来看，杨暕太不把父皇放在心上了。自己的人马截断猎物的来路，使皇上一无所获。不仅如此，还将自己猎获的麋鹿、野猪送来百余只，你这是在孝敬父皇呢，还是在故意炫耀，惹他老人家生气呢？
杨广被这事搅得满心不快，早就没了打猎的兴致，即传令各部停止狩猎，休息半日，待明天一早开拔，北上榆林。
七月底，在塞北一片迷人的秋色里，大业皇帝的御驾抵达榆林郡，这里距启民可汗的牙帐已经不远了。