桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　子曰：“道不远人，人之为道而远人，不可以为道。《诗》云：‘伐柯，伐柯，其则不远。’执柯以伐柯，睨而视之，犹以为远。故君子以人治人，改而止。忠恕违道不远，施诸己而不愿，亦勿施于人。君子之道四，丘未能一焉，所求乎子，以事父，未能也；所求乎臣，以事君，未能也；所求乎弟，以事兄，未能也；所求乎朋友，先施之，未能也。庸德之行，庸言之谨；有所不足，不敢不勉，有余，不敢尽；言顾行，行顾言，君子胡不慥慥尔！”

　　衛伯玉為尚書令，見樂廣與中朝名士談議，奇之曰：“自昔諸人沒已來，常恐微言將絕。今乃復聞斯言於君矣！”命子弟造之曰：“此人，人之水鏡也，見之若披雲霧睹青天。”