安徒生一家住在欧登塞城郊的小河边，不远处有一座水磨坊，成天“哗哗”地响着。在一幢开着老虎口天窗的小房子里，住着六户人家。安徒生一家只占一间最小的房间，与其他五户相比，房租要便宜些。
在这个既是卧室又是餐厅和工作间的小房子里，一切显得那么拥挤。勤快的玛利亚却不知疲倦地把屋里收拾得整整齐齐，并给窗户挂上窗帘，在高高的柜子上摆了几个图案鲜艳的瓷盘。喜欢幻想和看书的汉斯在工作台上放上几本书，有安徒生喜欢的《一千零一夜》，有玛利亚喜欢的言情小说，其余的便是他自己喜欢的喜剧剧本和歌谱。另外，为了给房间里增加光线，便于干活，汉斯在身旁放了个盛满水的玻璃球。
童年的汉斯渴望读书，可9岁时父亲突然疯了，家里一贫如洗，他不得不辍学，去一个熟悉的鞋匠那儿做学徒。后来，他成了一个没有执照的鞋匠，在家里靠小修小补来维持生活。
汉斯修鞋时常会停下手中的活儿，看着玻璃球出神。他幻想着在玻璃球的深处，会出现一个大城堡和一所他曾梦寐以求的教会学校……
这天，汉斯正盯着玻璃球出神，一个中学生来找他补鞋。汉斯一边补着鞋，一边打听学校里的事。中学生走后，汉斯再也没心思干活儿了，他若有所思地在房里踱着步……最后，他把在一旁玩的安徒生叫到身边，蹲下来，抚着儿子的头，认真地说：“儿子，你听我说，穷不可怕，你长大后，一定要有毅力，有志气，要排除万难，目标只有一个，那就是‘读书’。”
安徒生盯着严肃认真的父亲问：“读了书有什么用呢？”
汉斯说：“你想想看，有学问的人一天能赚多少钱？所以，读了书能过上好日子。有了钱，你喜欢什么书都可以买，想看戏就去，还有……周游列国什么的都行。”
这时，玛利亚过来了，对丈夫说：“好了，亲爱的汉斯，别再给孩子往脑子里灌这些没用的东西了。”
汉斯反驳道：“读书是没用的东西吗？”
玛利亚说：“依我看，只要学会一门手艺，有吃有穿，走遍天下都不怕呢。”
汉斯不理妻子，对安徒生说：“孩子，你看，父亲就有一门手艺，可没学问，挣的钱还不够糊口呢。你妈妈也没学问，只得站在齐膝深的凉水中，替别人洗衣服，晚上还得缝补，可是挣的钱连交房租都不够……”
玛利亚立即打断了他：“闭嘴，汉斯！我们还有什么不满足的？这个家干干净净的，我们的儿子从不穿破破烂烂的衣服，我总是把他的头发梳理得整整齐齐的，他也从来没被饿着过。我在他这么大的时候，被继父撵到街上去讨饭，讨不到饭还不敢回家，晚上坐在桥下哭……”说着，她眼里涌出了泪水。
汉斯不愿惹妻子伤心，说：“玛利亚，你说的是实情。”然后，他又若有所思地对安徒生说：“是人，就不该仅满足于吃饱穿暖，还应该有心灵的要求啊。”
玛利亚立即嘲笑起来：“这就是你常说的心灵的食粮吗，汉斯？靠这种食粮只能中邪而不能过日子。现在我们过得并不比别人差，是上帝保佑呢。”
汉斯耸耸肩，不再说话。可等玛利亚出去后，汉斯仍然坚持地对安徒生说：“儿子，记住父亲的话，读书才能有出息。”
安徒生认真地点点头，然后便让父亲讲故事。汉斯一边干活儿，一边讲起了故事。安徒生听着，眼前出现了长满奇花异草的美丽的花园，花园里有个黑眼珠、戴面纱的少女微笑着散步……
“爸，如果我们也有个花园该多好啊！”安徒生突然插话，打断了父亲的故事。
汉斯笑着安慰儿子：“难道你忘了我们天窗外的那个箱子吗？现在种的是香芹菜和葱，如果种上鲜花，不就是一个小花园了吗？”
安徒生爬上顶楼，弯着腰，将头伸出天窗，看着箱子里的香芹菜和葱。慢慢地，眼前的香芹菜和葱变幻成了鲜花。安徒生在幻觉中幸福地笑了。
玛利亚回来了。还沉浸在幻觉中的安徒生对她说：“妈妈，以后我长大了，要建造一座城堡，四周全是花园，我们全家都到里面去住。”
玛利亚高兴地一把搂过安徒生，说：“我的小宝贝真有出息。”
汉斯听了儿子的话，也惨然地笑起来：“好吧，小家伙，我就等着住你有花园的城堡，虽然我们现在什么也没有。”
初夏的一天，汉斯带着安徒生去林子里散步。林子里长满了好看的雪白的白头翁和黄色的九轮草，大大小小的野花遍地开放着，美丽的蝴蝶在花间飞来飞去。安徒生追扑着蝴蝶，欣喜若狂地蹦来跳去。醋栗树上覆盖着细小而带皱纹的叶子，无数的鹳鸟在树上啼叫着，成双成对地把去年的巢窝收拾得妥妥帖帖。
对只在夏天才光临欧登塞的鹳鸟，安徒生似乎有问不完的问题：“爸爸，鹳鸟说什么话？”
汉斯想了想，回答说：“鹳鸟是候鸟，它们在炎热的国度过冬，那里离金字塔很近。它们一定说的是埃及话。”
安徒生盯着树上一只正歪着头看他的鹳鸟，又问：“飞到那儿远吗？”
汉斯笑了笑，也盯着树上说：“远极了，要不停地飞过整整一个大海。”
“飞不过大海的会被淹死吗？”安徒生担心起来。
汉斯说：“你忘了吗？到了秋天，鹳鸟就在那片大草地上检查自己的队伍，如果发现有弱不禁风和带病的，领头的鹳鸟就会用犀利的嘴把它啄死。”
“噢，多么可怜啊！”安徒生突然忧愁起来，“最好让那些可怜的鹳鸟到我们楼顶来过冬，我一定会分点食物给它们吃的。”
汉斯盯着忧愁的儿子，微笑着说：“等你长大了，学会了说埃及话，就去邀请它们吧。”
直到散步结束，安徒生一直沉默着，心中想着那些可怜的要被啄死的鹳鸟。
这年冬天，安徒生上学了，是一所私立女子学校，就在水磨坊对面。全校只有他一个男生，所以常被女生取笑。有一天在课堂上，他把执教的老太婆想象成一条戴睡帽的鱼而挨了一顿树条。回家后，他对母亲发誓永远不上女子学校了。玛利亚只得将安徒生送到年轻又喜欢学生的卡尔斯倩斯那儿上学。
班上有个叫萨拉的女孩，学习很勤奋。安徒生很敬重她，常常把她想象成童话里的公主。一天，安徒生和萨拉一道回家，萨拉认为诗歌是些毫无用处的东西。
“可是，诗歌真的很美呀！”安徒生与萨拉争论着。
“美有什么用？”萨拉摇了摇满头鬈发，说，“一个贫苦的女孩子，除了学好算术到富裕的农场当一个女管事，还能期望得到什么呢？”
安徒生没想到，自己童话里的公主却说出这样令人失望的话来。他忍不住了，说：“你可以期望的，等长大后，我会驾着金光闪闪的马车，把你接到我四周全是花园的城堡里。”
萨拉将眼睛瞪得圆圆的：“什么城堡？只有老爷、伯爵才配有城堡，可你是穷鞋匠的儿子呀。”
安徒生愣了一下，立即解释说：“这很简单，我很可能是被富人遗弃的儿子，在穷人家长大，后来被他们找到了，我奶奶常这么说。那时候，我当然就有一座奇妙的城堡了。”
“多愚蠢啊！”萨拉喊道，“你一定像你爷爷一样精神失常了。”萨拉说完转身跑了。
安徒生呆立在原地。他没想到，自己将童话般的有花园的城堡奉献给萨拉，却招来她的嘲笑和侮辱。看着萨拉跑远的背影，安徒生含着委屈泪水的眼里出现了歪戴帽子的爷爷：他身穿破烂不堪却缀满了鲜花和五色破布的礼服，一群小孩子正追赶着他，往他身上扔脏东西……
更令人悲哀的是，萨拉将花园城堡的事告诉了班里的同学。在很长一段时间里，安徒生成了同学们嘲笑和侮辱的对象。在恨萨拉并远远地躲着她、尽量不去看她时，安徒生又生出了幻想：他在一场大火中救了萨拉，她很感激，对以前的嘲笑和侮辱，心中很愧疚，他便原谅了她，请他到了童话中的城堡。他们在美丽的花园中摘了许多美丽的鲜花。然而不久，萨拉却离开了学校，到她的什么亲戚家去了。安徒生从此再也没有见过萨拉。