宰相蔡京父子屡欲与之结交，被其拒绝。南宋靖康元年(1126)，钦宗问谁可为相，良贵言何?、唐恪等4人不可用。遂被当权者视为狂妄，黜监信州汭口排岸。高宗即位，召为左司谏，即建议高宗巡幸淮扬，选皇室贤者为山东、河北长官，以此壮国体、养兵威，以图恢复大宋江山。后历任提点荆湖南路刑狱、秘书少监、中书舍人等；又曾出知明州、严州。以徽猷阁待制提举亳州明道宫。归家，十年不出。良贵居官刚正不阿。王黼、张邦昌均欲招为女婿，章惇谋以孙女嫁其，许奁资300万钱，皆予以拒绝。后娶范仲淹后裔一孤女为妻。晚年贫甚。秦桧差人暗示其去求一郡令，亦予拒绝。病卒，无以为葬，高宗赐钱50万。时婺州有“三潘”，即“富潘”、“贵潘”，而良贵号称“清潘”。有杂著15卷，朱熹为之序。清康熙年间，其裔孙掇拾散佚的著作编成《默成文集》8卷刊行。
路至墙垣问樵者，顾予云是太真宫。太真血染马蹄尽，
朱阁影随天际空。丹壑不闻歌吹夜，玉阶唯有薜萝风。
世人莫重霓裳曲，曾致干戈是此中。
金甲银旌尽已回，苍茫罗袖隔风埃。浓香犹自随鸾辂，
恨魄无由离马嵬。南内真人悲帐殿，东溟方士问蓬莱。
唯留坡畔弯环月，时送残辉入夜台。
