以山水入画出现于战国以前，那时人们在生产劳动中，将大川河流的形象广泛用于工艺装饰，于是山水画也随之逐渐崛起，如南京北阴阳营出土新石器时代印纹陶片上的水纹，商周铜器——鼎上的山云纹等。
魏晋六朝尽管山水画有所发展，但还只是作为人物画的背景。以表现景物为主的山水画，大约始于隋代展子虔的《游春图》。这是一幅相当完整的青绿山水画，为现存最早的山水画轴，较西方17世纪出现专题性的风景画作品要早近千年。它的重彩稚拙，但已为唐代青绿山水画风格的发展奠定了基础，故被称为“唐画之祖”。
游春图
山水画至唐代开始形成独立画科，出现了青绿和水墨两种不同的表现手法和审美风格，青绿山水是以《游春图》这一类画法为基础，多用不透明的矿物质颜料，如石青、石绿等为主色来描绘自然色彩，敷色浓重，覆盖性强而具有装饰意味。水墨山水是当时创立的新兴画派，其特点在于以墨的浓淡变化和层次交融来展现大自然的空间深度及韵致，主要代表人物有张璪、王维等。北宋米芾讲张璪的山水“近溪幽湿外，全藉墨烟浓”，道出了浓淡墨法变化的艺术魅力。明末董其昌则评“文人之画，自王右丞始”，是说王维首开以诗境入画、诗画统一之先河。
山水画创作的全盛时期是五代和北宋，当时涌现出不少名画家。以他们所处的不同地区，划分为两大画系：北方画派以荆浩、关仝、李成、范宽为代表，作品较多表现出雄壮峭拔的风格。此外，还出现了以泼墨为法，追求“意似”之“简”的米芾、米友仁父子，他们画山画树重在墨法，墨中见笔，以浑然之水墨来写空蒙云雾中的烟雨景象，达到“满纸淋淳障犹湿”的境界，对后世影响很大。
元代，以黄公望、王蒙、倪瓒、吴镇为代表的元四家，他们的水墨写意山水画在题材选择和审美意识上都表现出文人摆脱仕途烦恼，思想孤高，隐逸山林以寻求内心平衡的心态。
明、清两代，崇古画风盛行，不过，重情性的水墨写意画派依然有所发展。明初有以戴进为代表的浙派，明中期则有被称为“吴门四大家”的沈周、文征明、唐寅、仇英，他们打破以往画家拘守一科的局限，既画山水也画花卉、人物，虽然审美风格各有特点，但总的倾向是注重抒发文人潇散淡逸的意兴，发扬光大了文人画的传统。