唐宪宗即位后，马上废顺宗新法，将永贞革新的势力集团贬黜，即有名的“二王八司马”事件。这其中刘禹锡被贬朗州司马，柳宗元被贬永州司马，都在湖南偏远落后的地方。刘禹锡带着新婚刚一年的妻子薛氏，薛氏不辞辛苦跟着刘禹锡到了朗州，织布做衣，生火饮炊，在朗州一呆七年，最后病死，这期间还为刘禹锡生了两子一女。刘禹锡为妻子做悼亡诗《谪居悼亡二首》：“邑邑何邑邑，长沙地卑湿。楼上见春多，花前恨风急。猿愁肠断叫，鹤病翘趾立。牛衣独自眠，谁哀仲卿泣。”“郁郁何郁郁，长安远如日。终日念乡关，燕来鸿复还。潘岳岁寒思，屈平憔悴颜。殷勤望归路，无雨即登山。”柳宗元更惨，带着老母亲以及和同居乐坊女子生的刚满五岁的女儿和娘到了永州，寓居在破庙里，半年后老母亲去世，五年后和娘也夭折。柳宗元因为被贬，找不来士族女子续弦，只能和当地伎女同居，以求生子延续香火。柳宗元写哲学著作《天说》，刘禹锡写《天论》响应。柳宗元写《永州八记》，又作诗《渔翁》：“渔翁夜傍西岩宿，晓汲清湘燃楚竹。烟销日出不见人，欸乃一声山水绿。回看天际下中流，岩上无心云相逐。”寄情山水抚慰内心，但终究难抵灵魂孤独：“千山鸟飞绝，万径人踪灭。孤舟蓑笠翁，独钓寒江雪”。

韩愈在顺宗即位大赦天下时被召还至郴州待命，待命期间又逢宪宗即位，两度大赦却被调任江陵法曹参军，韩愈愤愤不平，写《五箴》抒发忧愤。好在第二年也就是宪宗元和元年（806年）六月被召回长安任国子学博士，国子学博士是闲官，让他有较多的时间与新老朋友张籍、孟郊、张彻、侯喜等频频相聚。他们在一起饮酒、赋诗、联句，兴致盎然地同作“文字饮”，追忆离别后的愁绪烦恼，叙说重逢后的喜悦友情，互相勉励。元和四年，韩愈又改授都官员外郎分司东都兼判祠部。此职主要执掌刑法政令并主管祠庙祭祀及道观佛寺等事务。他到任以后，根据有关规定，把东都寺观的管理权力从宦官手中收归祠部，接着整肃风纪，按法办事，当禁者禁，当诛者诛，杀掉一批不法的僧尼、道土。这些事连尚书也“敛手失职”，所以此事与宦官有牵连，韩愈依法典办事，触怒了势力宦官。冬，被降职调为河南令。元和七年二月，韩愈复任国子博士。元和八年三月，晋升为比部郎中、史馆修撰，奉命修撰《顺宗实录》。元和十一年，韩愈任职中书舍人。