对于桑哥，赵孟頫始终是有所顾忌，他巧妙说服忽必烈侍卫近臣彻里，让他进言，上奏桑哥误国，最终导致了桑哥的被杀，他的生财工具中书省也被罢废。可见，这时候赵孟頫对权力斗争已轻车熟路了。
外调济南
赵孟頫眼见朝中政治凶险，“自念久在上侧，必为人所忌，力请补外。”他这时候想的，满是怎样才能调离京城，远离这个是非圈子。
起初赵孟頫能做京官是得到很多人羡慕的，他自己心中应该也颇为骄傲。令人诧异的是，外调居然也是赵孟頫竭力申请得到的。在大都的五年，“栖栖颜汗逐英俊，往往笑谈来讪侮”，赵孟頫久在皇帝身边，自然会受到嫉妒忌恨，加上忽必烈年事已高，一旦有不测，赵孟頫必然首当其冲。因此，赵孟頫一方面很少进宫，另一方面，积极请求外任。
1292年六月，他终于获得皇帝恩准，担任济南路总管府同知，在那里，他是名正言顺的一把手，上无权臣压榨，下无很多俗务，一时落得清闲。赵孟頫独立处理政务，可以适当施展一下抱负，平冤案，建学校，讲信修睦，留下一个好口碑。这种生活虽然有点冷清，比不得大都时的风光无限，但是却似乎更让他满意。
在山为远志，出山为小草。
古语云已然，见事苦不早。
平生独往顾，丘壑寄怀抱。
图书时自娱，野性期自保。
谁令坠尘网，宛转受缠绕。
昔为水上鸥，今如笼中鸟。
这是他在《罪出》中流露出的处事态度，出仕之前，他颇有大志，但是在大都，他却只能像小草一样寄人篱下，如笼中鸟般没有自由。如今又重新恢复水上鸥般平凡的生活，只得感叹做一棵小草未尝不是自保的好去处。
此时，赵孟頫对官场的态度已经有了一个转变。古人云：“君子之道，或出或处”，赵孟頫对“出”和“处”有自己的见解：
仕宦非徒荣，出处贵合义；
生世各有时，出处非偶然；
用舍有时，出处有宜；
出处由来各有宜。
这种仕隐兼修的处事态度，其实就是说人要学会取舍，学会生活——头上这顶乌纱来之不易，何况自己为此还付出了个人名誉及有可能受到后世唾骂的代价。因此，能出则不处，出不利则退而处。
此时，赵孟頫更多地选择“处”，打算暂时放弃政治雄心，准备以交游与书画创作构筑生活的主要内容。然而，人在江湖，身不由己。加上他并没有完全看透进退荣辱，自然不能保持平和清净之自在心，那种超功利的、纯一无伪的精神愉悦更是不可能享受到。也正因为他得不到真正的心灵的自由，才会对隐逸无比向往，所谓身在官位心在隐逸。但是，他还是把建功立业放在首位，他所追求的归隐不是道家式的避世而是儒家式的功成身退的归隐。
忽必烈死后，赵孟頫失去了一个靠山，更加惴惴不安。
而且即使是在济南，远离天子，赵孟頫的日子也不那么太平。有一个巡按当地的蒙古“纪检”官韦哈拉哈孙，此人苛刻贪婪，别人不顺承其意，便会大加刁难。赵孟頫此时略微看轻仕途，加上韦哈拉哈孙的官位并不高，因此，没有用心敷衍，竭力追捧。韦哈拉哈孙见赵孟頫怠慢自己，不向自己孝敬金银，就兴起事端，诬告赵孟頫。赵左右为难，进退维谷，终日寝食难安。幸亏新继位的元成宗要用他修撰《世祖实录》，没有理会，元贞元年(1295)，赵孟頫乃被召回京城，这样他才又逃过一劫。
韦哈拉哈孙所担任的纪检官不过是正五品，比赵孟頫的四品还低一个等级，但是他是负责监察官吏的，小鬼难伺候，一时不周到，便差点误终身。尤其这个人还不是蒙古人，只是二等的色目人，却肆无忌惮欺负赵，不过因为他是南宋亡国人。赵当时在朝廷在社会上的尴尬地为可见一斑。
这次进京，本来是个大好机会，可是元廷内部矛盾重重，身为南宋赵氏近亲的赵孟頫是否有资格进入史馆也成是非之争。为此，看清一切的赵孟顺便借病乞归，夏秋之交终于得准返回阔别多年的故乡吴兴。
寄情山水的江南生活
赵孟頫在江南闲居四年，无官一身轻，寄情于山水、诗文、书画，获得潇洒自在。这是赵孟頫艺术生涯中最重要的阶段，他一生中主要的作品基本上创于这一阶段，也有闲情为自己作画像，作为对前半生的总结。这时的赵孟頫儒雅、潇闲，俨然一副看破红尘的样子。这几年里，赵孟頫与妻子管道昇除了偶尔去杭州会友、参加艺术活动以外，一直隐居在德清山下的别墅里，拈管吮毫，朝夕相伴，自然的山水令人自由神往。
他时常到杭州参加社团活动，与鲜于枢、仇远、戴表元、邓文原等才子聚在西子湖畔，从诗词歌赋谈到人生哲学。有时则隐居于夫人家乡德清，在那里他过哲与世无争的宁静生活，日出而作，日落而息。杨载在《行状》中曾谈到，赵孟頫“素鄙尘事，家务一委之夫人，毫发不以为虑，专意于诗书”。一个成功男人的背后总有一个成功的女人，在贤内助的支持之下，赵孟頫走向了文学艺术的巅峰。
戴表元评价他这个时期的作品说：“古赋凌厉顿迅，在楚、汉之间；古诗沉涵鲍、谢；自余诸作，犹傲睨高适、李翱云”。
“江湖渺何许，归兴浩无边。忽闻数声水调，令我意悠然。莫笑盆池咫尺，移得风烟万顷，来傍小窗前。稀疏淡红翠，特地向人妍。华峰头，花十丈，藕如船。那知此中佳趣，别是小壶天。倒挽碧筒酾酒，醉卧绿云深处，云影自田田。梦中呼一叶，散发看书眠。”（《水调歌头》）
山中林下作为一个潇洒的话题一直在他笔下出现，与其说这是他为了满足妻子对自由生活的向往，或者向社会舆论有个交待而做的掩饰，倒不如说他确实是对做官出仕的兴趣有所减少。因为虽然期间朝廷曾任命他为太原路汾州知州，但这个官需要背井离乡，加上与济南那次相比，并没有更大的成就感，因此，托人说情后，他没有去上任。1298年，赵应召赴京书写《藏经》。当时的皇帝赏识他的才华，赐他翰苑的职务，但是又被婉拒。赵孟頫完成任务后悄然南返。
难道赵孟頫真的已经对仕途不再留恋？恐怕是对当时动荡的朝廷敬而远之吧！
因为这种退以保全自己的策略在完成其历史使命之后还是退居二线了，在元朝政权再次稳固后，借口养病从脱身庙堂之高，在江湖林间潇洒生活的赵孟頫，再次决定出山，去实现胸中久久盘旋不去的济世之梦。
大德三年(1299)，赵孟頫被任命为集贤直学土行江浙等处儒学提举，这个官位虽然也是像翰苑之类的闲散官职，俸禄也不高，但是赵孟頫还是毫不犹豫地接受了。加上此职不需离开江南，与文化界联系密切，是一个真正融入汉文化圈的大好机会，相对儒雅而闲适，比较适合赵孟頫的旨趣，这个职位，他一直做了十一年。
在江浙当文化官员期间，他利用公务之余，广交文人学士、书画家和文物收藏家，在江南生活得如鱼得水。他与夫人遍游江浙山水，亦诗亦画，创作进入旺盛时期。
这段时期他的创作总是在强调“适意”，“人生贵适意，要津何必据？”说的很豁达，但是放在这样一个人身上，总觉得有些酸酸的意味在其中，与其说这十一年是乐得其所，倒不如说是无路可走，退而居其次。因此，这种“适意”难免有些无奈和自我安慰的情怀。
然而，不得不说，成功只属于那些有准备的人，赵孟頫的未雨绸缪总是为他带来意想不到的收获——他在江南文化人中的声望也随着“儒学提举”之职而更为隆盛，许多人依附其门下，求教问艺，赵孟頫俨然成为江南文人首领。
尽管多年不见升迁，但赵孟頫在社会舆论上却获得了前所未有的支持，他与周密等人交往甚密，为之前的坏名声洗白成功。
也有荣华富贵时
1310年，五十七岁的赵孟頫再次被召回京师，命运也从此发生了变化。皇太子爱育黎拔力八达对他发生了兴趣，这自然与他在江南时期积攒的人气是分不开的。
这年冬天赵氏夫妇来到北京，赵孟頫拜翰林侍读学士，知制诰同修国史，与商琦、王振鹏、元明善等人共同侍候皇太子左右，谈论儒学文艺，可以说是太傅。
太子倒是一个惜才之人，对他恩宠有加，连名字都不叫，只称他为“子昂”，可见关系之亲密。还把他比作唐朝的李白、宋朝的苏轼，称他“操履纯正，博学多闻，书画绝伦，旁通佛老之旨，皆人所不及。”要知道，这可是当着众多文学侍从说的，太子这么不避嫌地称赞赵孟頫，自然会有人吃醋。立马某个酸文人嘀咕说：“他可是宋朝的贼子。”太子变脸骂道：“你这是嫉妒人家家世比你好吗？”臊得那人无地自容。
然而朝廷内的异议还是压不下去，有人竟然斗胆上书说：“赵孟頫可能对大元有二心，我们的兵书不能让他看到。”太子暴跳如雷：“赵子昂是前朝我爷爷看重的忠臣，我是为了国家社稷才重用他。看来不重罚你们，是没办法惩戒他人了！”吓得众人再也不敢开口。赵孟頫的位子总算坐稳了。
后来，皇太子熬出头蜕变为皇帝，跟随他的赵孟頫们也自然鸡犬升天——升为从二品的集贤侍讲学士、中奉大夫，管夫人亦被封为吴兴郡夫人。皇庆元年(1312)，仁宗又借改元之庆，封赠赵孟頫父、祖，并“恩准”赵孟頫返乡为先人立碑修墓。同时，夫人管道异也回家建造了“管公孝思楼道院”。
延祜三年(1316)，元仁宗又将赵孟损晋升为翰林学士承旨、荣禄大夫，官居从一品，推恩三代；管夫人也被加封为魏国夫人。至此，赵氏政治地位达到了一生中的顶峰。
赵孟頫应该是幸运的，他遇到了两个较为开明的君主，当然，皇帝也有自己的考虑，他们有意宣扬赵孟頫，目的也是为了来缓和民族矛盾。他们应该也看透了赵孟頫的性格为人，因此给他个一官半职，满足他的欲望，免得他再长吁短叹，动摇民心，还能获得个宽宏大量、知人善任的好名声，一举两得，何乐而不为？
由于仁宗的青睐和赵孟頫出类拔萃的才能，他晚年名声显赫，荣耀无比。其妻也经常出入内廷，成为皇后的座上客。一时间，社会名流们也都趋之若鹜，许多政治地位较高的北方书画家，包括色目人、蒙古人书画家如高克恭、康里子山、李仲宾等，多与他有交往，一些较年轻的画家，如黄公望、商琦、柯九思等，也甘心做他的门生。而外国使臣、僧人们，也都以能求得赵氏墨宝为荣。
人一得意起来，就得忙忙碌碌，几无闲暇，这就是成名的代价。明星们往往在自得的同时向人抱怨太红的种种弊端，赵孟頫对自己的双重处境也是颇有感慨，扪心自问，不禁悲从中来，曾写下《自警》诗曰：“齿豁童头六十三，一生事事总堪惭。唯馀笔砚情犹在，留与人间作笑谈。”
总体而言，三十多年元廷宦海浮沉，他是喜多忧少。在这样的环境中，人不免变得世俗。
据赵孟頫老朋友杭州人叶森讲，赵孟頫老年贪婪、吝啬的本性也开始暴露无遗。一次，有两个白莲教和尚上门求字，赵怒骂道：“他们算是什么居士？是香山居士还是东坡居士？不过是嘴吃素腰无钱的东西罢了。”妻子一旁忙相劝：“相公不要这么焦躁，只要来人有钱，总能买些东西吃。”赵仍然努气冲天，面露不快。一会儿，又有两位和尚入见，从袖中掏出交钞十锭：“求相公您为本寺书匾，以此作润笔之费。”这时，赵孟頫马上来个一百八十度大转弯，屁颠屁颠吩咐道：“来人，送茶来，居士看坐！”留这两个富贵和尚很久才离去。
延佑五年(1318)，管夫人脚气病复发，经赵孟頫多次请求，次年四月，方得准送夫人南归。1319年五月，管夫人不幸病死于返家途中。
夫人的去世给赵孟頫沉重打击，他们情深意笃，同甘共苦三十年，丧偶，加上长途跋涉，赵孟頫晚年的健康状况急剧下降。延佑七年，皇帝还忘不了给他送礼物，并想召赵孟頫返京，但此时的赵孟頫因病不能长途跋涉了。
次年新皇帝即位，对这位老先生还是念念不忘，再次遣使召赵书写《孝经》，赵以年迈体弱要求致仕，终于得到朝廷的应允。此时的赵孟頫倒不是虚让，而是因为耳鸣眼花，颓然老矣，身子骨也经不起折腾了。
佛道对人的洗涤作用并不是空谈，因为赵孟頫晚年倾心于佛、道之旨，以书写经文为乐，居然可以说出“人谁无死，如空华然”这样看破世俗的诗句。
他在平淡中度过光阴。英宗至治二年(1322)六月，逝于吴兴，这一年他六十九岁。临死还观书作字，谈笑如常，也算善终吧。
至顺三年(1332)，元政府又追赠他为荣禄大夫、江浙等处行中书省平章政事，追封魏国公，谥文敏。至此，赵孟頫在历史上划上了一个句号。
他的一生的确是矛盾、复杂而尴尬的一生。他在《题岳鄂王墓》中曾经对岳飞的死表达出无限的叹婉和追惜：“鄂王墓上草离离，秋日荒凉石兽危。南渡君臣轻社稷，中原父老望旌旗。英雄已死嗟何及，天下中分遂不支。莫向西湖歌此曲，水光山色不胜悲。”其实他自己何尝不是让人可叹可悲的呢？他一生中最缺少的是本应该来自父辈的阳刚之气，取而代之的是处世隐讳柔顺，加之以后特定的朝廷生活，遂造就了他多疑、警觉和过敏的个性。他一生处在矛盾中，在冷嘲热讽与南宋遗老的鄙夷中，他背弃道义与忠诚；在尔谀我诈与蒙古贵族的排挤中，他放弃争名夺利的热切；在荣华富贵与皇帝的宠爱中，他又抛弃所谓的清心寡欲。
他这种不甘被历史的洪流淹没的中国知他的一生的确是矛盾复杂而荣华尴尬的一生，得以安息是他最好的选择，是非功过总是留给后人评说。识分子的挣扎与努力，或许为人不齿，但是，更应该受到诘责和质问的是那个时代。赵孟頫的性格使得他必然不能像文天祥那样从容不迫，以身殉国；难道要让他为那个腐朽不堪的王朝殉葬？忠诚是个人的信仰，但是愚忠可能导致更多的悲剧，为自己而活是潇洒，然而舆论的压力或许摧毁一切，那些说他丧失民族气节的人，也不过是站在帝王家天下的立场上指指点点。历史没有定论，这也正是历史的魅力所在。