元稹受刘禹锡连累，再贬通州任司马。元稹在通州得了疟疾，很严重，几乎活不过来，幸得上司山南西道节度使权德舆照顾，让他来山南西道兴元府求医，并在权德舆为他组织的欢迎宴会上，元稹遇见刺史裴郧的女儿裴淑，两人一见钟情，顷刻倾心。在权德舆促合下，元稹续娶了大家闺秀也有才气的裴淑，这是元稹的第三次婚姻，育下孩子元樊。元稹的生活有了人照料，身体好起来，致力于政事，后又代理通州刺史一职。他整顿吏治，出台政策，“赏信罚必，市无欺夺，吏不侵轶”。他引导百姓除草开荒，着手改变通州的落后面貌；还在南外翠屏山建戛云亭居宿，亲事农事，指挥农业生产；同时亲拟祝文三篇，在华阳观祭天气，求上苍风调雨顺、来年丰收、百姓安康。因为元稹情系百姓，政绩累累，当年通州人在他离任时登高而望，目送天涯，留下了“元九登高节”这一民俗。元稹在通州刚过得顺风顺水，就又花心，试图重新联系薛涛，而薛涛已洞悉他的无情，为他写下最后一首诗《柳絮咏》：“二月杨花轻复微，春风荡漾惹人衣。他家才是无情物，一向南飞又北飞。”薛涛终身未嫁，从此脱下她最爱的红裙，换上灰色的道袍，离开了熙熙攘攘的浣花溪，移居到成都郊外，用“薛涛笺”赚来的钱，在碧鸡坊筑起一座吟诗楼，在那里安静度日，人生从炽烈归于淡然。大和六年（832年）夏，薛涛去世，享年六十五岁。

刘禹锡、柳宗元、元稹等被贬不久，宰相武元衡、裴度因极力赞成削藩被刺客刺杀，武元衡被杀，裴度受伤，朝臣震惊慌恐。白居易当时作为太子左赞善大夫，本不在职责之内，但仍然上疏，要求严缉罪犯，揪出幕后黑手，触犯了宦官和保守势力，被认为是越职言事。其后白居易又被诽谤：母亲看花而坠井去世，白居易却著有“赏花”及“新井”诗，有害名教。唐宪宗本就对白居易有意见，因为白居易任左拾遗时，频繁上书言事，并写大量的反映社会现实的诗歌，希望以此补察时政，乃至于当面指出皇帝的错误。白居易上书言事的直接，曾令唐宪宗感到不快而向李绛抱怨：“白居易小子，是朕拔擢致名位，而无礼于朕，朕实难奈。”这下遂以此为理由，贬白居易任江州司马。

白居易满怀失意和失落去往江州，在赴任的路上意外遇到了漂泊卖唱的湘灵父女。惊喜和痛苦之下，白居易和湘灵抱头痛哭，完全忘了避讳旁边的人，白居易有诗为证：“我梳白发添新恨，君扫青蛾减旧容。应被傍人怪惆怅，少年离别老相逢。”这时白居易已四十四岁，湘灵也已四十岁，湘灵还未嫁人，白居易已有妻女，两人的遭遇着实令人唏嘘不已。白居易邀请湘灵父女茶馆小坐，并引见妻子与湘灵父女相见，言谈叙旧中，白居易恳切请求湘灵父女与他们同赴江州，以便照应。湘灵父亲推说回客栈拿行李，离开后父亲对湘灵说：“白公子虽不忘旧情，但他是做官之人，已有妻女，我们若随他同去，岂不是给他妻子添堵而令自己受辱？况他正受贬谪，我们就不要拖累他了。”于是湘灵父女不辞而别。白居易没等来湘灵父女，得知他们已不告而别，很是失望，做诗《逢旧》：“久别偶相逢，俱疑是梦中。即今欢乐事，放盏又成空。”白居易到了江州，人生态度发生了改变，由以前的兼济天下变为独善其身，虽依然心系天下苍生，但政治上却不积极主动了。元和十一年的春天，白居易晾晒衣物，忽然看到了那双鞋，和湘灵相处的往事一一袭上心头，思绪翻腾，感慨万端，提笔写下了《感情》一诗：“中庭晒服玩，忽见故乡履。昔赠我者谁，东邻婵娟子。因思赠时语，特用结终始。永愿如履綦，双行复双止。自吾谪江郡，漂荡三千里。为感长情人，提携同到此。今朝一惆怅，反覆看未已。人只履犹双，何曾得相似。可嗟复可惜，锦表绣为里。况经梅雨来，色黯花草死。”这一年妻子杨氏又为白居易生女阿罗，但白居易心中始终放不下湘灵。秋天他到江边送客遇到琵琶女，写下著名的《琵琶行》：“同是天涯沦落人，相逢何必曾相识”，虽是他与琵琶女的自况，但他内心深处又何尝不是希冀湘灵父女在漂泊卖唱的路上得人善待不受屈辱呢！“座中泣下谁最多，江州司马青衫湿”。之后至死，白居易都未再见到湘灵，湘灵也杳无音讯，不知所终。