阅读提示：为防止内容获取不全，请勿使用浏览器阅读模式。
举讲话，在公论的压力下，刘瑾只得释放廷举，改判谪戍雁门。廷弼背负廷举诣都督府领戍牒，汗与泪交垂，见者莫不感叹。廷举因被刑拷、罚枷致伤并患病，被遣戌雁门时幸得廷弼跟随照料，在流放途中写了一首《示弟》七律：万里间关作楚囚，半生辛苦为谁谋。倾危九死过苏轼，患难相扶赖子由。心事仰祈天日照，话言敢望史官收。更有一事为君累，葬我云山山上头。诗中流溢着真挚的感情，他对宦官毫不示弱，也不寄希望于史官的直笔，更没有哀叹悲惨的遭遇，但愿死后能归葬梧州白云山头，显示出他坚强不屈的精神。
刘瑾伏诛，吴廷举获得***，先后任云南兵备副使、江西右参政、广东右布政使、右副都御史、工部及兵部右侍郎。这期间，他对赈济湖南饥荒，立番舶进贡交易法，疏陈江西军政六事以防宁王宸濠叛乱等方面，卓著功绩。
吴廷举因与副使李梦阳不协，奏梦阳侵官，因乞休，不俟命意去，坐停一岁俸。任兵部侍郎时，上疏抨击陆完、王琼、梁储及大学士兼太子少傅蒋冕，所陈事理亦有偏激之处。结果，陆、王、梁被罢官，以此蒋冕亦自请罢免，廷举任都御史，巡按南畿，对赈恤凶荒，折豪强、植贫弱、禁私铎、止妄工等方面有显著政绩。
当时，苏州府长洲知县郭波，因得罪在苏州监制御用衣物的提督织造太监张志聪，张伺郭外出即命卫兵把郭拘捕，倒绑在车轮后面拖曳而去。典史肖景腆正在较场练兵，便率兵抢救，百姓亦从高楼上投以瓦石打击张志聪，张志聪又上表诬奏，逮捕了萧景腆，廷举得悉情况，便出面干预，将张志聪种种罪状上报。但结果，张志聪被召回朝，郭波受降职五级的处分，肖景腆亦被调到远方，针对当时主昏政乱，权女干横行的时弊，廷举问世宗朱厚熜上勤学修政远佞亲贤疏，并请效法洪武年间修《孝慈录》的故事，汇集当朝好人好事编纂成书，劝勉后世。世宗不悦，廷举便称疾乞休，他感到朝政败坏，无所作为，一再上书辞官。由于情绪激动，言语不恭，并引用了白居易和张咏的诗句，其中有独恨太平无一事，江南闲煞老尚书。世宗甚为恼火，便准他辞官。
回到家乡后，得到乡亲的热诚欢迎和同情，廷举为官四十年，归来时依然像当年那样，梧州士民在他屋旁建筑一座书院，吴廷举取名东湖书院，便在这里孜孜不倦地教学，人称东湖先生。东湖书院是漆红色的，所以有人称为红学，历代不断修建，一直保存下来，即今梧州卫校红楼。东湖，又称东学塘、红学塘，是梧州人士捐给书院作为基金的，塘里种菜养鱼，自清末以来，被逐渐填平，变成了阜民路。吴廷举创办的东湖书院，使贫家子弟获得免费入学的机会，书院一直办到清末，从历史观点来看，这对文化教育事业的发展，是起了积极作用的。