1946年11月2日，张学良被军统特务们从囚禁他的桐梓县转移至重庆的戴公馆。不久，就被转移到了台湾新竹的井上温泉。
自此，张学良被军统强迫离开了中国，并且至死，都没有再回来。
说起张学良被军统软禁，还要从“西安事变”说起。
1936年12月12日，时任西北剿匪副总司令、东北军领袖的张学良和时任国民革命军第17路总指挥、西北军领袖的杨虎城，在西安发动了“西安事变”，扣留了时任国民政府军事委员会委员长、西北剿匪总司令的蒋中正。“西安事变”最终和平解决。1936年12月25日，在张学良的陪同下，蒋介石从西安出发，顺利返回南京。然而，从走下飞机的那一刻开始，张学良就被军统特务所监视，从此，被监禁了长达数十年。
走下飞机后，军统特务们送张学良一行去了宋子文公馆。宋子文早年就与张学良的关系甚好，张学良的毒瘾就是在宋子文的帮助下戒掉的。
当时，宋子文夫妻每天陪张学良打球、下棋，张学良也经常外出，算不上失去自由。而且张学良还带有随从约五六十人，包括警卫、厨师、营养师、按摩师等。然而，这样的日子只持续了五天。
1936年12月29日，在蒋介石的指示下，国民党军事委员会下达了法丙字第17087号命令，对张学良进行审判。
1936年12月31日，张学良由宋子文陪同，前往南京国民政府军事委员会受审，他从西安带来的秘书、副官等，随即被宪兵团缴械、扣押。审判后，张学良再也没有回到宋子文公馆，而是被直接押到了南京太平门外事先已被腾空的孔祥熙公馆。
从这天起，蒋介石对张学良就从暗中监视变成了公开囚禁，囚禁由军统局和宪兵司令部共同执行。当时，军统局由书记周伟龙（又名周道三）负责，带领军统局特务15人，王芳南任组长，负责执行囚禁张学良的任务；宪兵司令部由警务处处长丁昌负责，由该部中校处员欧阳湘负责执行任务，派宪兵特高组组员7人专门囚禁张学良；另有一个排的武装宪兵，负责在孔公馆大门和房屋周围负责武装警卫。在张学良所住的院子里，包括楼梯口、房门口，都派有宪兵、特务站岗。
在孔祥熙公馆，张学良住了两周，除了负责监视任务的戴笠及军统特务可以出入孔祥熙公馆，任何人都不得进入，不得探视。就连张学良的四弟，时在南京中央军校第十期受训的张学思来孔祥熙公馆求见，都被严词拒绝。
在最初被软禁时，张学良情绪低落，常常一整天一句话也不说。根据当时负责监视张学良的军统特工邱秀虎回忆，当时，军统特务发现张学良在睡觉时，总是把贴身的背心脱下来垫在床上，然后睡在背心上，他们就认定，这件背心里一定藏有什么秘密或者是武器，但又不敢去检查。于是就让负责警卫的宪兵特高组趁张学良睡熟后翻身之际，去检查那件背心。结果不但什么都没有查出来，还被张学良发现了。张学良为此非常生气，大声说：“你们真缺德！真缺德！”据邱秀虎回忆，这是张学良被囚禁后说的第一句话。而张学良的原配夫人于凤至焦灼地赶到南京后，也与张学良一起，被软禁在孔祥熙公馆。
1937年1月4日下午，张学良又接到国民政府发布的特赦令：“经国府委员会讨论，一致决议接受蒋委员长请求，张学良准予特赦，张学良所处十年有期徒刑，特予赦免。仍交军事委员会严加管束。”此后，张学良彻底失去了自由，被军统软禁数年。
特赦令颁布不久，张学良被军统特务送到了蒋介石的故乡浙江奉化“读书悔过”，在军统特务的监管下，从此过起了与世隔绝的生活。
在浙江奉化，张学良的心情依旧不能平静，心情不好的时候，他也冲军统特工发脾气，军统局局长戴笠曾多次告诫负责监管张学良的特务，千万不能与张学良发生冲突，只要保证张学良在可视范围内就可以了。
1937年10月，张学良又被军统特务们送到了安徽黄山段祺瑞的别墅里。在那里住了没多久，军统特务们随即接到戴笠的电报，要求将张学良转移到江西萍乡暂住。随后，张学良由萍乡转到距衡阳约四五十里的湖南郴州，再由郴州转到沅陵，最后由沅陵到了贵州修文。贵州修文距离军统直属的息烽集中营不远，息烽因为息烽集中营而出名，所以很多资料说，张学良被关入了息烽集中营，事实上，据相关人员回忆，当时，张学良并没有进入息烽集中营，仅仅是住在贵州修文。
张学良于1938年年末，被软禁在贵州修文阳明洞。修文多雨、天气潮湿，山多景美，然而，多次辗转后，张学良的身体受到了极大的伤害，而当时的中国，已经进入了抗战困难时期，各种物资开始匮乏，张学良的生活条件也随之下降。
张学良自被宣判之日开始，生活条件一直较好，据军统特工邱秀虎回忆，在浙江溪口，张学良每日的早点是火腿蛋、牛奶和花旗橘子。正餐则由张学良点菜，想吃什么，前一天告诉厨师就好，每天中午都有八九道菜。张学良平时常喝咖啡，很少喝酒，也很少吸烟。即使辗转到湖南郴州的那段时期，无从买到除了长沙橘子之外的其他水果，军统特务们也会特地派人到广州和香港，买回整批的水果运到郴州来，供张学良每餐饭后食用。然而辗转到贵州修文后，情况就不一样了，张学良不仅没有了水果和咖啡，连日常的饭菜也简单了很多，然而他却很少抱怨，最喜欢做的事情就是看书。虽然连续几年，一直在辗转，可张学良还是随身带着三四箱之多的书籍，他常常捧书细读，一坐就是大半天。
1940年，张学良的原配夫人于凤至，因乳腺癌需前往美国救治，戴笠等人上报蒋介石，得到批准后，于凤至飞往美国，从此，再没有回过中国，而接替于凤至的，正是赵四小姐——赵一荻。赵四小姐的到来，为张学良的生活增添了不少鲜亮的色彩，也让他的后半生，终于有了幸福的慰藉。
1941年5月，张学良因患急性阑尾炎，离开修文到贵阳接受手术治疗。由于入院时病情已经恶化，所以医院一共为他做了两次手术，耗时两个多月，才得以痊愈。
考虑到修文较为偏僻，交通不便，缺医少药，而张学良的阑尾炎又极可能复发，所以张学良提出住在贵阳。戴笠将此事申报蒋介石，蒋介石斟酌再三，终于安排张学良住在贵阳市城区的黔灵山麒麟洞。
为了确保安全，军统局局长戴笠派人在麒麟山四周修建了大量的碉堡，并进一步限制了张学良的行动范围，同时，还在麒麟山周围拉起了铁丝网，严禁外来人员接触，做好保密工作。然而，张学良在贵州的消息还是泄露了出去，无奈之下，戴笠将张学良转移到偏僻的开阳县刘育乡。