为了生活，拜伦的母亲不得不恳求苏格兰的行政机关发放一点救急的零用金给她。她在写给爱丁堡代理人的一封信中，提道：“我不敢要求太多！而且，即使给我太多，也会被我丈夫一下就用光！”
果然不出所料，约翰·拜伦一听说戈登小姐又有了收入，便立即回到英国。名义上是探望自己的儿子，实际上却是要向戈登小姐榨取那一点少得可怜的救济金。
依照英国的法律，债主不能向戈登小姐讨债。所以接连好几个月，约翰·拜伦都在和债主玩捉迷藏的游戏——当他需要用钱的时候，便冒险潜回英国，甜言蜜语地骗取戈登小姐的钱，然后返回法国享用。
1789年的夏天，拜伦的母亲带着这个取名乔治·戈登的儿子（因为命名时，父亲不在身边，所以她把自己父亲的名字冠给这小孩）离开了伦敦，回到苏格兰亚伯丁的娘家，企图利用仅有的150英镑和她的儿子平静地生活下去。
不多久，约翰·拜伦再度山穷水尽，不得不去投靠他的妻子，和她们在皇后街的一栋狭窄拥挤的小屋里住了下来。然而这位花花大少实在过不惯这种清苦、平淡的生活，当他从他的姐姐莱夫人那儿弄到一些钱后，就马上离开了拜伦母子，回到上流社会圈子里去混日子。
拜伦的母亲对丈夫真是又爱又恨。当他要钱的时候，她气得对他破口大骂，可是事情过后又死心塌地地爱着他。她对自己的儿子也是如此。
“我的母亲，”拜伦说，“当我顽皮得惹她发脾气时，常常说：‘唉！你这畜生，简直和你爹是同一个模子刻出来的，一样可恨！’但是，过不了一会儿，她又会很懊悔地抱着我又疼又怜的。”
约翰·拜伦最后一次出现在她们母子面前，是1790年的9月。为了让约翰·拜伦完成回到法国的心愿，拜伦的母亲只好从老祖母的养老金中拿出100英镑来给他，但是，从此以后，她们母子就再也没看见过他了。
1791年的8月2日，从法国传来约翰·拜伦已经自杀身亡的消息。他在遗嘱上指定他的儿子——乔治·戈登为财产继承人，以及债务和丧葬费的负责人。
这个消息经过证实后，差不多整条皇后街的人都听到了拜伦母亲的哭声。这时，拜伦才三岁，后来他在写给他朋友的信上说：“我对我母亲还留有深刻的印象，而且，因为从小看到父母的情形，我从小就对婚姻产生了恐惧感！”
好不容易，拜伦的母亲才打起精神，用她微薄的一点收入，和她的儿子在当地人认为是高级的住宅区安顿下来。她牺牲了一切的享受，只想让自己的儿子得到最好的。可是，无论她如何委屈自己，以她的收入绝不可能送拜伦到一所贵族学校去，所以，拜伦只好在邻近的包尔斯先生所设的一所又小又吵，而且又脏的学校读书。
拜伦回忆他在亚伯丁时的生活说：
第一年，我在那所学校什么都没有学到，只会重复地背诵一句：“神创造世人，我们要爱神！”不过，第二年学校换了一位比较好的老师，我才学到了一点东西，并开始读拉丁文。
诗人拜伦六岁的时候，一件意外的好事改变了他的命运。原来，“邪恶的拜伦男爵”的孙子，在科西嘉被炮弹炸死了，拜伦被指定为他的合法继承人。拜伦的母亲也因此可以在苏格兰的贵族亲友们面前抬起头来了，并开始教导拜伦恢复他贵族身份所应有的态度、礼仪。
这个时期的拜伦，在班级上虽然成绩平平，但却很喜爱读课外书籍，其中有一本土耳其历史是他最欣赏的。他说：“它是我童年时期最喜欢读的一本书，或许是它使我的诗增加了一点东方的色彩。”除了历史外，他也喜欢读航海或冒险的故事，如《一千零一夜》和《堂吉诃德》这类的书。
拜伦刚过完十岁生日，突然传来一个消息——拜伦五世已经去世了。可是，这位刚成为拜伦六世的十岁小孩，却在得到消息的隔天，瞪大了眼睛问他的母亲：“我和以前有什么不同的地方吗？我自己看了很久，也看不出自己当了贵族以后和以前有什么不一样！”最令他尴尬的事是学校里的老师把他找去，给了他一些酒和蛋糕，并且还在他毫无准备的情况下，向班上宣布他的新身份。禁不住众人的注视，这位新的爵爷居然大声哭起来了！
透过拜伦母亲代理人的调查：去世的爵爷所遗留下来的财产，清还债务以后，连埋葬费都成了问题。而且老爵爷死在5月，拜伦母子必须等到8月，才能离开苏格兰去英格兰领受他的男爵头衔。
当拜伦的母亲把全部家具以74英镑卖出去，凑足了去英格兰的旅费时，我们不太清楚这位小爵爷离开故乡的心情是如何。不过，从他对一首苏格兰民谣忆往日的感想中，我们不难看出，拜伦在苏格兰的确有过一段快乐的童年时光。他写着：“我虽只是半个苏格兰人，但却流着整个苏格兰人的血液！”