在退休期间,他回避一切政治活动,拒绝参与支持总统候选人或为他的继任者出谋划策。1826年,人们发起一个历时不久的运动,选派他再次出任弗吉尼亚州州长,被他以个人经济困难为由谢绝了,但他同意与麦迪逊一起参与州制宪会议,重订弗吉尼亚州宪法。
1830年9月23日,严重中风的门罗夫人病逝。门罗无法抑制丧妻之痛,难以接受老伴已死的残酷现实,因此她的尸体在家里停了数天后才被埋葬。妻子死后,他的资产已近告罄,他决定离开弗吉尼亚州,搬到纽约住到二女儿玛丽亚家,他与女儿女婿同住在鲍厄里附近的一所朴素的房子里。约翰·昆西·亚当斯任命他的女婿塞缪尔·古弗尼尔为纽约市的邮政局长,这样才保证了他们一家的生活。
在生命的最后几年里,门罗没有能见到弗吉尼亚的一些老朋友。他是一个孤独的人,每天到码头上去散步时,邻居小孩都向他问好,但不知道他是谁。他默默无闻地生活着,只有一次打破沉默,那是在1830年下半年,他出席了纽约庆祝法兰西国王查理十世被废黜的集会。
为了改善困难的经济情况,他写了两本书来筹钱。其中一本书的题目叫《从传说和历史观点来看各种大事》,在这些大事中,门罗既是当事人,同时又是公务生涯的一名旁观者;另一本书的题目是《美利坚共和国与希腊和罗马共和国之比较》。最后,他只写了第一本书的一部分内容,而第二本书已经接近完成,并在38年之后正式发表,只可惜他已经看不到了。