阅读提示：为防止内容获取不全，请勿使用浏览器阅读模式。
忠孝堂匾一方。
虞守愚，告老还乡后，终日家居，从不涉足官行，对自己居所题匾曰留余，以表自己心态。宗族乡里，凡有争执难决之事，只要他从中劝解便能使双方心悦诚服，不会对簿公堂，免去了乡邻几多不应发生的麻烦，为百姓所称颂。
虞守愚，虽已是耄耄之年，但仍读书孜孜不倦，非六经礼义之语不言，诲子孙以忠厚方正之道，逢人总说：做人切勿攀附权贵，不然，有冰山倾颓之危也。家居近四年，捐资兴建义乌县衙、东江桥、虞大宗词，置公田以救济贫困，捐资以助学校，诸多美事，实为后人之表率。
虞守愚逝世，享年87岁，颁诏将虞守愚入祀乡贤祠。构筑东崖书舍藏书楼，有终老之意，家中藏书万卷，终日在书斋正襟危坐，从事著述，所藏书后归于胡应麟。