转眼到了1994年年底，一个下午，顾峥正在图书馆阅览室看书时，贾樟柯对他说，做我的副导演，咱们再拍一部片子吧，不是纪录片，这次是有剧情的。明年是电影诞生一百周年，他说为了这个纪念日，我们再拍部片子吧。
拍电影需要经费，这次是贾樟柯以前的同学王波和王怀宇，在为太原的一家豪华饭店装修时，临摹了一张陈逸飞的《夜宴》，有了一些钱，他们俩愿意帮贾樟柯一把。
那时贾樟柯写了一个剧本叫《小山回家》，说的是春节快到了，河南民工小山想回河南的老家过年，中国人一到春节就得回家过年，但他不想一个人走，他想去找在北京城里各种各样的同乡，找到一个同伴一起回老家。这些同乡有建筑工人、票贩子、妓女、大学生，但没人愿意跟他一起回家。最后他一个人在街头，留着很长的头发，电影最后一个镜头就是他在街头一个理发摊子上把那头长发剪掉。
参与拍摄的顾峥记得：“贾樟柯在几天之内就拿给我看剧本的第一稿，他不得不向我和王宏伟解释他的计划，因为他要把一个河南民工作为主角，所以要王宏伟来扮演角色，还要用大量的非职业演员。当他告诉我们要让王宏伟主演时，都大吃一惊。王宏伟特别地瘦小，其貌不扬，是不可想象他在任何一部影片里担任男主演的。王宏伟的志向是做制片，他对表演不感兴趣，我不知道王宏伟能不能胜任这个角色，而且王宏伟在这学期的表演课上被表演系老师认为是最不会演戏的学生，他都没有任何表演经验。王宏伟很怀疑他和其它演员是否能够胜任，是不是应该找表演系的同学来演，贾樟柯坚持他的主张，说剧本就是按照王宏伟的形象写的，不需要王宏伟在机器前做什么表演，只要把他的精神状态融入设计好的情境中完成动作就行了。表演系的同学不可能表演出他所想要的效果来。已经记不清贾樟柯是怎么说服王宏伟的了，后来大家公认王宏伟在《小山回家》里的表演是非常出色的，片子里的其他非职业演员也都很称职，唯一让人觉得有些别扭的角色还是一个表演系同学演的。
“找演员其实并不是那么方便，因为设想主要演员要用方言演出，所以必须要找河南籍的学生，我们当时是第二学年，课还是很多，我们几个人就只得利用课余时间通过各种途径打听哪里可以找到合适的人选。我开始和贾樟柯煞有介事地去找演员了。每到一个学校，我和老贾心里都特虚。我们知道不可能给人家什么报酬，土枪土炮拍电影，确切地说是录像，会有人跟我们一起玩儿吗？热爱电影的人还是多，我们先找到了两个女主角，中央戏剧学院学编剧的周小敏，及北京师范大学的朱丽琴。
“最后还差一个票贩子的角色，必须是看上去有一定社会阅历的人，学校里很难找到这样的人。正巧来了一个找王宏伟的老乡姚盛，他已经在地方上工作了几年，这次来是想考研究生，他不太情愿演这个角色。我们生拉硬拽，王宏伟买了两瓶二锅头，一边喝酒一边做思想工作，我和老贾则尽量贬低演戏的难度，把表演描述得跟过家家一样简单。姚盛终于答应了我们的要求。”【注：顾峥：《我们一起来拍部电影吧———回望青年实验电影小组》，载贾樟柯著、赵静编：《贾樟柯故乡三部曲/小武》，山东画报出版社，2010年3月版，第51-52页。】
《小山回家》长约58分钟，是个显得非常线性的作品，整个叙事的动机就是小山去找老乡，描述了中国民工在大城市里各种各样的生活状态，比如有处境很艰难的建筑工人、有生活在道德和自我意识之间的妓女，以及其他从事非法工作的人。
从这个作品之中，我们可以看到，春节临近时，民工王小山开始厌倦单调的厨师工作，一心想回家，他故意制造事端被老板开除，“自由”之后想给自己的归乡之旅找一个同伴，为此他穿行在北京城里，寻访身份各不相同的老乡：妓女、大学生、票贩子、建筑工人等，试图说服他们，但他们都没能满足小山的愿望，而拒绝的理由大都和各自的身份有关。在这条线索外突兀地插入了他和女邻居一段不明就里的亲密关系，小山是主动的，但又显得对此有些无所谓甚至厌恶。影片有个开放式的结尾，小山找了一个路边剃头匠，剪去了一头长发，可以理解为他在为回家做准备，也可以理解为一种放弃。
这样的故事架构，看起来只是传统的“欲望不断受阻”的套路，但《小山回家》用大量旁逸斜出的枝节、丰富的细节和“业余”的拍摄方式，使其超越了这种常规，戏剧性的痕迹被消解，生活本身的质感蔓延强烈，它无可置辩地调动了观众的现实经验，甚至因此挑战了观影行为预置的审美期待。作为贾樟柯第一部获得电影节认同的作品，《小山回家》虽然粗糙至极，但他作为一个作者的导演的艺术风格在这里己经有诸多显露。比如开场时的声音设计和剪辑方法就完整地移植到之后的代表作品《小武》中。而正是因为在《小山回家》中展现的才华，贾樟柯才获得拍摄《小武》的机会。因此对贾樟柯来说，《小山回家》不管是在艺术上还是在职业生涯里，都足以成为一个标志。
其时，贾樟柯因为没钱租电影器材，摄影机是学校的，只有星期五晚上才能拿出来，星期六、星期天拍两天，星期一又要还回去。差不多拍了八天，前后四星期，才完成这个作品。
后来，贾樟柯说道：
当我拍完《小武》、《站台》，再回过头来看这部短片的时候，我发觉我从《小山回家》中获得的是一个完整的拍片过程。虽然这部电影很粗糙，但我从中学习到了整个电影从拍摄到剪接，再到推广的制作过程。后来我们把这电影送去参加香港独立短片展，且得了奖。对于一个学生来说，这个奖项是个很大的鼓励，让我的自信心有很大的提高，在香港我也找到了几个后来非常重要的合作伙伴。
现在也有很多年轻导演在拍电影前来问我的建议，我总是说拍学生电影时不管你遇到多少困难、不管拍完后你觉得你的电影有多幼稚，一定要坚持把它做完，然后拿给别人看。我觉得电影是个经验性很强的工作，只有这样才能获得一个完整的电影经验，能应对以后你自己的工作。所以1997年我拍了第一部长片《小武》，直到1998年推出以后，在法国发行，接着陆陆续续有些欧洲国家开始发行，才得到国际上的注意，在某种程度上，之前我已经历了整个过程。后来，我们去了很多电影节，看了许多各种类型的电影，我觉得是比较得心应手，最主要的原因就是拍短片时我已建立了自己作为导演的方向。中国内地的艺术家因为长期封闭，很难接触到外面的信息，常会面临一个问题：当我们离开中国，在外国的艺术场合获得过多信息的时候，有些艺术家会丧失自己的文化自信心，或丧失了自己的艺术判断力。我觉得对我来说，我没有失去这些东西。因为在这几年的短片创作过程里，我已找到了自己的内在艺术世界。我觉得这对艺术家是非常重要的。【注：引自[美]白睿文：《光影言语：当代华语片导演访谈录》，罗祖珍、刘俊希、赵曼如译，广西师范大学出版社，2008年10月版，第173-174页。】
另外，从技术上来说，贾樟柯通过这部电影学到了很多，比如怎么去找经费、怎么组织一个摄影队、怎么拍完它，然后面临剪接、混录的工作，还有怎么发行、推广。
贾樟柯认为，《小山回家》毫无疑问是他拍长片之前最重要的一个短片，“它确立了我的很多方向”。不仅如此，还意外地获得了1996年香港独立短片及录像比赛故事片金奖。
在短片《我的焦点》这篇《小山回家》的创作手记中，贾樟柯如此表达了他的创作感想：
拍完《小山回家》后，总有人问我，为什么要用7分钟的长度，全片十分之一的时间，而仅仅两个镜头去表现民工王小山的行走呢？我知道，对他们来说，这7分钟足足等于28条广告，两首MTV……我不想再往下计算，这是这个行业的计量方法，是他们的方法。对我来说，如果有一个机会让我与别人交谈，我情愿用自己的方式说一些实话。
所以，我决定让摄影机跟踪失业的民工，行走在了岁末年初的街道上，也就是在那段新旧交替的日子里，我们透过摄影机，与落魄的小山一起，游走于北京的寒冷中。这长长的7分钟，与其说是一次专注的凝视，更不如说是一次关于专注的测试。今天，当人们的视听器官习惯了以秒为单位进行视听转换的时候，是否还有人能和我们一起，耐心地凝视着摄影机所面对的终极目标，那些与我们相同或不同的人们？
可以不断转换的电视频道改变了人们的视听习惯，在众多的视听产品面前，观众轻易地选择了本能需要。艺术家们一味地迎合，使自己丧失了尊严。再也没有人谈论艺术的现状和我们的对策，艺术受到了艺术家的调侃，许多人似乎找到了出路——那就是与艺术迅速划清界限。他们将创作变为了操作，在躲避实用主义的挤兑同时，使艺术成为了一种实用。一切都处于职业规范，甚至不惜压抑激情与力量，艺术中剩下的除了机巧还有什么？
如果这种艺术的职业化仅仅以养家糊口为目的，那我情愿做一个自由自在的业余导演，因为我不想失去自由。当摄影机开始转动的时候，我希望永远能问自己一声，眼前的一切是否是你真正的所思所感。
一时间，单纯的情绪表现成为一种艺术时尚，无论绘画、音乐，还是电影，都停留在了情绪的表层而难以深入到情感的层面。在某部新生代电影MTV式的一千多个镜头中，创作者关注的并非生命个体而是单纯的自己，杂乱的视听素材编织起来的除了自恋还是自恋。许多作品犹如自我抚摸，分散的视点事实上拒绝与人真诚交流。艺术家的目光不再锐利，进而缺乏专注。许多人没有力量凝视自己的真情实感，因为专注情感就要直面人性。一些影片快速的节奏与激情无关，相反只代表着他们逃离真实的状态。因而，当我们这些更为年轻的人一旦拥有摄影机，检验自己的首先便是是否真诚而且专注。《小山回家》中，我们的摄影机不再漂移不定，我愿意直面真实，尽管真实中包含着我们人性深处的弱点甚至龌龊。我愿意静静地凝视，中断我们的只有下一个镜头下一次凝视，我们甚至不像侯孝贤那样，在凝视过后将摄影机摇起，让远处的青山绿水化解内心的悲哀。我们有力量看下去，因为——我不回避。
不知从哪一天起，总有一些东西让我激动不已。无论是天光将暗时街头拥挤的人流，还是阳光初照时小吃摊冒出的白汽，都让我感到一种真实的存在。无论舒展还是扭曲着的生命，都如此匆忙地在眼前浮动。生命在不知不觉中流失，当它们走过时，我闻到了它们身上还有自己身上浓浓的汗味。在我们的气息融为一体的时候，我们就此达成沟通。不同面孔上承载着相同的际遇，我愿意看民工脸上灰尘蒙盖下的疙瘩，因为它们自然开放的青春不需要什么“呵护”，我愿意听他们吃饭时呼呼的口响，因为那是他们诚实的收获。一切自然地存在着，只需要我们去凝视、去体会。