宰相蔡京父子屡欲与之结交，被其拒绝。南宋靖康元年(1126)，钦宗问谁可为相，良贵言何?、唐恪等4人不可用。遂被当权者视为狂妄，黜监信州汭口排岸。高宗即位，召为左司谏，即建议高宗巡幸淮扬，选皇室贤者为山东、河北长官，以此壮国体、养兵威，以图恢复大宋江山。后历任提点荆湖南路刑狱、秘书少监、中书舍人等；又曾出知明州、严州。以徽猷阁待制提举亳州明道宫。归家，十年不出。良贵居官刚正不阿。王黼、张邦昌均欲招为女婿，章惇谋以孙女嫁其，许奁资300万钱，皆予以拒绝。后娶范仲淹后裔一孤女为妻。晚年贫甚。秦桧差人暗示其去求一郡令，亦予拒绝。病卒，无以为葬，高宗赐钱50万。时婺州有“三潘”，即“富潘”、“贵潘”，而良贵号称“清潘”。有杂著15卷，朱熹为之序。清康熙年间，其裔孙掇拾散佚的著作编成《默成文集》8卷刊行。
可爱十分月，都无一点云。清光是处皆有，浑不许人分。独是大江深处，一片水晶世界，仿佛有微痕。坐到夜深际，万籁寂无闻。
与诸君，同一笑，举芳樽。素娥自有佳约，何必命红裙。顷刻参横斗转，归去华胥一觉，玩事任纷纷。我袖有玉斧，当为整乾坤。
禄山作逆降天诛，更有思明亦已无。
汹汹人寰犹不定，时时斗战欲何须。
社稷苍生计必安，蛮夷杂种错相干。
周宣汉武今王是，孝子忠臣后代看。
喧喧道路多歌谣，河北将军尽入朝。
始是乾坤王室正，却交江汉客魂销。
不道诸公无表来，茫然庶事遣人猜。
拥兵相学干戈锐，使者徒劳百万回。
鸣玉锵金尽正臣，修文偃武不无人。
兴王会静妖氛气，圣寿宜过一万春。
英雄见事若通神，圣哲为心小一身。
燕赵休矜出佳丽，宫闱不拟选才人。
抱病江天白首郎，空山楼阁暮春光。
衣冠是日朝天子，草奏何时入帝乡。
澶漫山东一百州，削成如桉抱青丘。
苞茅重入归关内，王祭还供尽海头。
东逾辽水北滹沱，星象风云喜共和。
紫气关临天地阔，黄金台贮俊贤多。
渔阳突骑邯郸儿，酒酣并辔金鞭垂。
意气即归双阙舞，雄豪复遣五陵知。
李相将军拥蓟门，白头虽老赤心存。
竟能尽说诸侯入，知有从来天子尊。
十二年来多战场，天威已息阵堂堂。
神灵汉代中兴主，功业汾阳异姓王。
