桓玄敗後，殷仲文還為大司馬咨議，意似二三，非復往日。大司馬府聽前，有壹老槐，甚扶疏。殷因月朔，與眾在聽，視槐良久，嘆曰：“槐樹婆娑，無復生意！”

　　謝萬北征，常以嘯詠自高，未嘗撫慰眾士。謝公甚器愛萬，而審其必敗，乃俱行。從容謂萬曰：“汝為元帥，宜數喚諸將宴會，以說眾心。”萬從之。因召集諸將，都無所說，直以如意指四坐雲：“諸君皆是勁卒。”諸將甚忿恨之。謝公欲深箸恩信，自隊主將帥以下，無不身造，厚相遜謝。及萬事敗，軍中因欲除之。復雲：“當為隱士。”故幸而得免。

　　殷仲堪父病虛悸，聞床下蟻動，謂是牛鬥。孝武不知是殷公，問仲堪“有壹殷，病如此不？”仲堪流涕而起曰：“臣進退唯谷。”