韩愈因上疏论天旱人饥，触怒权奸李实，被贬为阳山令。此事牵连好友张署，被贬为临武令。阳山属于连州（今属广东省），临武属于郴州（今属湖南省）。二州相连，唐时均属江南西道，而两县相距则不足二百里。
由于朝廷逼迫，二人匆忙登程。在一个严寒的冬日，二人出长安东门，经蓝田县入商山，开始了漫长而艰难的贬途跋涉。
这一路，二人备尝艰辛：由蓝田入商山，山高路险，大雪弥漫。“褰衣步推马，颠蹶退且复。”严冬苦寒，举步维艰。“岁弊寒凶，雪虐风饕，颠于马下，我泗君号。”（《祭河南张员外文》）这两位读书做官的人哪受过这份罪？过洞庭，渡湘水，风涛连天；登九疑，过五岭，鸟兽吟嚎，这二位又何曾经历过如此惊吓？经过四个月的奔波，九死一生，到达阳山。
韩愈幼年时曾随兄嫂在韶州（今广东省韶关市）生活过一段时间。但这阳山比韶州还要靠南，地方也更加荒僻。据韩愈在《送区册序》中描写：“阳山，天下之穷处也，陆有丘陵之险，虎豹之虞，江流悍急”，显然是穷山恶水之地；“县郭无居民，官无丞、尉，夹江荒茅篁竹之间，小吏十余家，皆鸟言夷面。始至，言语不通，画地为字，然后可告以租赋，奉期约。”县城不像县城，官吏不像官吏。别处都是县令之下有县丞、县尉，而在这里却是韩愈集令、丞、尉职责于一身；由于语言不通，只能“画地为字”进行交流，向官吏们传达“收租赋，奉期约”的任务。这个汉武帝时才建立的小县之荒蛮落后，于此可见一斑。同时，生活环境也相当恶劣：“下床畏蛇食畏药，海气湿蛰熏腥臊”。（《八月十五夜赠张功曹》）“江氛岭祲（jìn，妖气）昏若凝，一蛇两头未见曾。怪鸟鸣唤令人憎，蛊虫群飞夜扑灯。”（《永贞行》）异鸟怪兽，瘴烟毒气，使其衣食住行颇不适应。贞元二十年冬，韩愈和张署曾于两县邻界处又一次约见，“一夕相语”。韩愈后来回忆当时的情景：“枕臂倚眠，加余以股。仆来言告，虎入厩处。无敢惊逐，以我（méng，驴子）去。”两位县太爷夜间枕臂相依而眠，显然不是什么高级宾馆；半夜老虎入厩，竟然把韩愈所骑的驴叼走了。县太爷没有骑马坐轿，只能骑驴，而驴又被老虎吃掉，显然不是贪官，而作为县太爷，物质条件的匮乏，生活环境之狼狈，自然不难想象。
韩愈蒙冤至此，此地又如此荒蛮落后，使他的心情很不好。但日子一久，情绪慢慢平静下来。阳山宜人的山水风景，颇使喜欢山水的韩愈愉悦，而新交的众多朋友，也使他逐渐远离了孤独寂寞。他在《县斋读书》一诗中对其生活有具体描述：“出宰山水县，读书松桂林。萧条捐末事，邂逅得初心。哀狖醒俗耳，清泉洁尘襟。诗成有共赋，酒熟无孤斟。”在这佳山丽水之中，读书，垂钓，游山戏水，与朋友饮酒赋诗，又少俗务打扰，日子过得倒也潇洒。当然，有个问题需要说明一下：这里既然贫穷落后，未经开化，韩愈何来的诗酒之乐？原来韩愈是个很会生活的人，是一个感情世界非常丰富的人，也是一个很有凝聚力的人。一方面他自己能够充分利用大自然的恩赐，独享山水之乐，读书、著文排遣苦闷；另一方面，凭他的文名和人格魅力，很快在他的身边聚合了一帮新朋友：南海（今广州市一带）青年区册，听说韩愈被贬阳山，第一个乘舟来向韩愈求教，韩愈以礼待之，二人相处甚好；郴州青年区弘，到阳山得韩愈教诲后，一直矢志不移地追随韩愈；笃志于学问文章的青年窦存亮，听说韩愈抵达阳山，“乃乘不测之舟，入无人之地”，来到韩愈身边；任侠豪放的青年刘师命，听说韩愈被贬阳山，也来投奔，除此之外，连州、郴州就近慕名而来的更不在少数；同时一些佛徒如惠师、灵师等，亦与韩愈往还。
韩愈从贞元二十年（804）四月上任，到贞元二十一年夏秋之间离任，在阳山县令任上不过一年多的时间，但却深得阳山百姓的爱戴。韩愈在阳山的具体政绩，史籍没有记载，韩愈自己也没有炫耀过，但我们从阳山百姓对韩愈的态度和评价上，可以看出韩愈在阳山并未因这里落后而不作为。
韩愈在这里广交朋友，对年轻学子因材施教，使他们受益匪浅。据《阳山县志》记载，在阳山县城北而里处，有座“贤令山”，亦称“牧民山”，此山的命名竟然是因韩愈当年曾读书于此的缘故。一座无名小山，因有韩愈的读书台而得名，足见阳山百姓对韩愈的爱戴。我们也就不难推知：关心教育，兴办学校，肯定是韩愈在阳山的主要惠政之一。
另据《新唐书·韩愈传》载，“贬阳山令，有爱在民。民生子，多以其姓字之。”这更是对韩愈在阳山政绩的无评之评。虽没有说韩愈具体有何德政，百姓具体如何褒扬，但仅凭百姓用韩愈的姓给孩子取名这一点，我们即可推知韩愈是一位恪尽职守，勤于官务，关心百姓疾苦，深得民心的地方官。在任时间不长，能享受百姓如此厚爱和尊敬的地方官员，古往今来，能有几人？
韩愈在阳山，为官一任，遗惠一方。评价自在百姓心中，而英名永传后世。