在退休期间，他回避一切政治活动，拒绝参与支持总统候选人或为他的继任者出谋划策。1826年，人们发起一个历时不久的运动，选派他再次出任弗吉尼亚州州长，被他以个人经济困难为由谢绝了，但他同意与麦迪逊一起参与州制宪会议，重订弗吉尼亚州宪法。
1830年9月23日，严重中风的门罗夫人病逝。门罗无法抑制丧妻之痛，难以接受老伴已死的残酷现实，因此她的尸体在家里停了数天后才被埋葬。妻子死后，他的资产已近告罄，他决定离开弗吉尼亚州，搬到纽约住到二女儿玛丽亚家，他与女儿女婿同住在鲍厄里附近的一所朴素的房子里。约翰·昆西·亚当斯任命他的女婿塞缪尔·古弗尼尔为纽约市的邮政局长，这样才保证了他们一家的生活。
在生命的最后几年里，门罗没有能见到弗吉尼亚的一些老朋友。他是一个孤独的人，每天到码头上去散步时，邻居小孩都向他问好，但不知道他是谁。他默默无闻地生活着，只有一次打破沉默，那是在1830年下半年，他出席了纽约庆祝法兰西国王查理十世被废黜的集会。
为了改善困难的经济情况，他写了两本书来筹钱。其中一本书的题目叫《从传说和历史观点来看各种大事》，在这些大事中，门罗既是当事人，同时又是公务生涯的一名旁观者；另一本书的题目是《美利坚共和国与希腊和罗马共和国之比较》。最后，他只写了第一本书的一部分内容，而第二本书已经接近完成，并在38年之后正式发表，只可惜他已经看不到了。