当拜伦母子及女仆玫瑰风尘仆仆地从亚伯丁到达纽斯德时，首先映入眼帘的不过是一座面对湖泊的修道院和一座残破的古老的哥特式教堂。拜伦母亲的伦敦代理人韩生先生和他的太太早已经在那入口处恭候多时了。随后，韩生夫妇带领他们四处参观。
拜伦母子在看过庄园里的大公园和那些宽大但却阴暗的建筑物后，更坚定了要住下来的决心——尽管韩生先生一再告诉他们：这些建筑物的后面，有几间房连屋顶也没有！况且，客厅和餐厅的地上也都满是稻草和牲畜粪便。他们决定让拜伦的母亲使用一些还没有被债主们搬走的家具，暂时在这残破不堪的纽斯德修道院住下来，以便就近慢慢再整理家务以及处理土地的问题。
至于拜伦呢？韩生先生计划让他在克拉克太太家住一阵子。这位克拉克太太的前夫，就是被“邪恶的拜伦男爵”所杀死的，她和前夫所生的女儿玛丽·嘉渥，现在还跟她住在一起，这女孩比拜伦大两岁，算起来还是拜伦的堂姐。
不多久，这位年轻的爵爷开始对自己的属地和身份感到得意起来，他以拥有拜伦家族传统的家徽感到骄傲，并且慷慨地对诺亭汉什尔的亲友们进行赠与。
第二年即1799年，拜伦又搬到诺亭汉什尔的柏家去居住。有一位叫李文德的全科医生，自称精于外科手术，能治愈拜伦的跛脚。他用油脂替拜伦按摩，并用机械方法绞紧拜伦的脚。然而，除了增加拜伦更多的痛苦外，一点疗效也没有。
韩生先生不忍见这孩子遭受折磨，又觉得他必须接受较有系统的教育，因此建议他母亲送他去伦敦。韩生还说，说不定伦敦的医生对拜伦的脚有更好的治疗方法。韩生帮拜伦的母亲向国王请愿，争取到拜伦到达威区一所小学校就读的一切教育费用，并请拜伦的亲戚卡力索伯爵担任监护人。1799年的7月12日，拜伦随着韩生先生到了卡力索伯爵家。
与此同时，韩生先生劝拜伦的母亲把女仆玫瑰解雇，理由是她常常打拜伦并且带一些下流的人到家里玩。实际上，韩生先生还保留了事实的真相。直到拜伦死后，韩生才说：“拜伦九岁的时候，有一个苏格兰的女孩儿常常在晚上去找他，跟他一起玩耍。”
他的童年“初恋”也差不多在这个时期开始，对象就是这名小女孩，是一位名叫玛丽·德芙的漂亮表妹。
拜伦在九岁前后，就已经早熟了。当年拜伦之所以会告诉韩生与女孩早恋的这件事，说不定是出于嫉妒玫瑰对别人也友善。而这个对宗教信仰非常热诚的女孩，留给拜伦的影响是——日后拜伦对宗教界人士的伪善深恶痛绝。
拜伦进了达威区的学校以后，因为拉丁文的训练不够，再加上不专心学习，所以名次一直落在别的学生之后。韩生先生觉得这样下去也不是办法，于是便劝说卡力索伯爵让拜伦到哈洛的公立学校去念书。韩生先生明知以拜伦的程度，去上公立学校的确有些吃力，然而他却说：“这小孩子还有点聪明，总是可以造就的！”于是，在1801年的4月，他带着拜伦到哈洛去见校长朱力博士。
有一个记录显示，1800年暑假，拜伦可能曾陪同他的母亲到诺亭汉什尔和纽斯德附近去度假。这是根据拜伦自己的口述：由于我对表妹玛格丽特·德芙非常喜爱，因此开始用诗来抒发情感……我的热情使我睡也睡不着，吃也吃不下，一时一刻都不能安宁。虽然我知道她会爱我，但是想到还要那么久才能见面，真是非常痛苦……
拜伦尝到这种初恋的滋味，可能是在他八岁到十二岁左右。但是，这种“早熟的忧郁”和面对完美却不能占有的遗憾，在拜伦以后的生命中，借着他所接触到的男男女女，重复地出现过。并且由于他过分早熟，使他对肉体的关系产生一种厌恶与渴望相互交错的复杂心情。这对他后来的情感生活有一定的影响。这也是他之所以一方面追求年轻的女孩，另一方面却和像面包师傅的太太这一类女人鬼混的原因。