薛存诚任御史中丞时,与刑部侍郎王播,大理卿武少仪秉公执法,审理了牵连到爱宠宦官梁守谦一案,将受贿的梁正言诛死。同时还惩处了不法僧人鉴虚。鉴虚在贞元年间(785—804年),交接朝中权贵、宦官,收受贿赂,横行不法,官府不敢过问。审梁正言、沈壁一案时,薛存诚对鉴虚也进行了收审,得知前永乐县今吴凭曾托鉴虚行贿给已故宰相杜黄裳。之外,杜黄裳还通过鉴虚纳邠宁节度使高崇文钱4万5千缗。这些事情一经落实,薛存诚就将鉴虚逮捕下狱,定成死罪。这下捅了马蜂窝,—时朝中贵要,地方权臣,纷纷向唐宪宗保救鉴虚,众情难违,唐宪宗特下诏赦免鉴虚。但薛存诚拒不执行,并把诏书奉还。第二天,唐宪宗又下诏要亲自提审鉴虚,薛存诚让宣召的宦官回奏唐宪宗说“鉴虚罪款已具,陛下若召而赦之,清先杀臣,然后可取。”唐宪宗颇为薛存诚的胆识所动,于是改变初衷,对薛存诚下诏嘉奖,放手让薛存诚办理鉴虚一案,薛存诚即将鉴虚鞭笞处死。
薛存诚不仅敢于惩办权奸,而且还勇于雪冤良善,就在他任御史小丞时,江西镇监军高重昌诬奏本镇所辖信州刺史李位谋反。谋反为重罪,唐宪宗当即下诏调李位回朝受审。薛存诚觉得此事有冤情,在李位回朝后,他一日向唐宪宗三次上表,要求将李位交付御史台审讯。唐宪宗准允了他的请求。薛存诚接案后经过认真审查,认为李位无罪,特为其昭雪。
不久,薛存诚迁授给事中,但唐宪宗却找不到御史中丞的合适人选,很思念薛存诚,即对宰相说:执法不徇私,没有人能代替薛存诚。于是又任薛存诚为御史中丞。但薛存诚未及上任,就得暴病死去。唐宪宗深表惋惜,特下启赠他为刑部侍郎。
唐元和末年,御史中丞薛存诚由台丞升门下省要职给事中。不到一个月,他又升任副御史。御史府第,整洁肃穆,远离街市。他升任后搬了进去,觉得心旷神怡。他来到厅中吟了两句诗:"卷帘疑客到,入户似僧归。"几个月后,看门的小吏正和衣而睡尚未睡深沉。他恍然间看见几十个僧童,拿着香花和印着佛名的幡旗,一边念着经文一边按顺序走进来。看门小吏斥道:"这是御史的公署,你们这是作什么法事,高声喊叫地进来?"其中一个和尚自称识达,是中丞薛存诚的弟子,这次来迎接师傅的。他说:"我师傅在吗?我们可以进去探望一下就把他接走吗?"看门小吏说:"这是中丞大人的官署,本不是寺院,你们怎么能随随便便就进来呢?!"当即就要去捉拿识达。识达说:"中丞原来是须弥山东峰静居院的罗汉大德,因为他错误地与佛祖说想涉足凡尘,被贬到人间五十年。现在五十年已满,我们所以来迎接他。这件事,你们这些人是不知道的。"看门小吏急忙要跑去报告,一下子从梦中惊醒。数天之后,薛存诚在公署患病而死,人们暗自一算,整好五十岁。
大鱼
胜神鳌,夯风涛,脊梁上轻负着蓬莱岛。万里夕阳锦背高,翻身犹恨东洋小,太公怎钓?
绿毛龟
绿毛稠,绕池游,口中气吐香烟透。卖卦的先生把你脊骨飏,十长生里伴定个仙鹤走,白大夫的行头。
长毛小狗
丑如驴,小如猪,《山海经》检遍了无寻处。遍体浑身都是毛,我道你有似个成精物,咬人的笤帚。
自叹
恰春朝,又秋宵,春花秋月何时了。花到三春颜色消,月过十五光明少,月残花落。
王大姐浴房内吃打
假胡伶,聘聪明。你本待洗腌臜倒惹得不干净,精尻上匀排七道青,扇圈大膏药刚糊定,早难道外宣无病。
偷情为获
鸡儿啼,月儿西,偷情方暂出罗帏。兢兢业业心儿里,谁知又被人拿起,含羞忍耻。
胖妻夫
一个胖双郎,就了个胖苏娘,两口儿便似熊模样。成就了风流喘豫章,绣帏中一对儿鸳鸯象,交肚皮厮撞。