宰相蔡京父子屡欲与之结交,被其拒绝。南宋靖康元年(1126),钦宗问谁可为相,良贵言何?、唐恪等4人不可用。遂被当权者视为狂妄,黜监信州汭口排岸。高宗即位,召为左司谏,即建议高宗巡幸淮扬,选皇室贤者为山东、河北长官,以此壮国体、养兵威,以图恢复大宋江山。后历任提点荆湖南路刑狱、秘书少监、中书舍人等;又曾出知明州、严州。以徽猷阁待制提举亳州明道宫。归家,十年不出。良贵居官刚正不阿。王黼、张邦昌均欲招为女婿,章惇谋以孙女嫁其,许奁资300万钱,皆予以拒绝。后娶范仲淹后裔一孤女为妻。晚年贫甚。秦桧差人暗示其去求一郡令,亦予拒绝。病卒,无以为葬,高宗赐钱50万。时婺州有“三潘”,即“富潘”、“贵潘”,而良贵号称“清潘”。有杂著15卷,朱熹为之序。清康熙年间,其裔孙掇拾散佚的著作编成《默成文集》8卷刊行。
九江浪粘天,气势必东下。
万山勒回之,到此竟倾泻。
如公廷诤时,一快那顾藉!
君看洗日光,正色甚闲暇。
使唐不敢周,谁复如公者?
古祠苍烟根,碧草上屋瓦。
我来春雨余,瞻叹香火罢。
一读老范碑,顿尘看奔马。
斯文如贯珠,字字光照夜。
整帆更迟留,风正不忍挂。