宰相蔡京父子屡欲与之结交,被其拒绝。南宋靖康元年(1126),钦宗问谁可为相,良贵言何?、唐恪等4人不可用。遂被当权者视为狂妄,黜监信州汭口排岸。高宗即位,召为左司谏,即建议高宗巡幸淮扬,选皇室贤者为山东、河北长官,以此壮国体、养兵威,以图恢复大宋江山。后历任提点荆湖南路刑狱、秘书少监、中书舍人等;又曾出知明州、严州。以徽猷阁待制提举亳州明道宫。归家,十年不出。良贵居官刚正不阿。王黼、张邦昌均欲招为女婿,章惇谋以孙女嫁其,许奁资300万钱,皆予以拒绝。后娶范仲淹后裔一孤女为妻。晚年贫甚。秦桧差人暗示其去求一郡令,亦予拒绝。病卒,无以为葬,高宗赐钱50万。时婺州有“三潘”,即“富潘”、“贵潘”,而良贵号称“清潘”。有杂著15卷,朱熹为之序。清康熙年间,其裔孙掇拾散佚的著作编成《默成文集》8卷刊行。
冻手莫弄珠,弄珠珠易飞。惊霜莫翦春,翦春无光辉。
零落小花乳,斓斑昔婴衣。拾之不盈把,日暮空悲归。
地上空拾星,枝上不见花。哀哀孤老人,戚戚无子家。
岂若没水凫,不如拾巢鸦。浪鷇破便飞,风雏袅相夸。
芳婴不复生,向物空悲嗟。
应是一线泪,入此春木心。枝枝不成花,片片落翦金。
春寿何可长,霜哀亦已深。常时洗芳泉,此日洗泪襟。
儿生月不明,儿死月始光。儿月两相夺,儿命果不长。
如何此英英,亦为吊苍苍。甘为堕地尘,不为末世芳。
踏地恐土痛,损彼芳树根。此诚天不知,翦弃我子孙。
垂枝有千落,芳命无一存。谁谓生人家,春色不入门。
冽冽霜杀春,枝枝疑纤刀。木心既零落,山窍空呼号。
班班落地英,点点如明膏。始知天地间,万物皆不牢。
哭此不成春,泪痕三四斑。失芳蝶既狂,失子老亦孱。
且无生生力,自有死死颜。灵凤不衔诉,谁为扣天关。
此儿自见灾,花发多不谐。穷老收碎心,永夜抱破怀。
声死更何言,意死不必喈。病叟无子孙,独立犹束柴。
霜似败红芳,剪啄十数双。参差呻细风,噞喁沸浅江。
泣凝不可消,恨壮难自降。空遗旧日影,怨彼小书窗。