薛存诚任御史中丞时,与刑部侍郎王播,大理卿武少仪秉公执法,审理了牵连到爱宠宦官梁守谦一案,将受贿的梁正言诛死。同时还惩处了不法僧人鉴虚。鉴虚在贞元年间(785—804年),交接朝中权贵、宦官,收受贿赂,横行不法,官府不敢过问。审梁正言、沈壁一案时,薛存诚对鉴虚也进行了收审,得知前永乐县今吴凭曾托鉴虚行贿给已故宰相杜黄裳。之外,杜黄裳还通过鉴虚纳邠宁节度使高崇文钱4万5千缗。这些事情一经落实,薛存诚就将鉴虚逮捕下狱,定成死罪。这下捅了马蜂窝,—时朝中贵要,地方权臣,纷纷向唐宪宗保救鉴虚,众情难违,唐宪宗特下诏赦免鉴虚。但薛存诚拒不执行,并把诏书奉还。第二天,唐宪宗又下诏要亲自提审鉴虚,薛存诚让宣召的宦官回奏唐宪宗说“鉴虚罪款已具,陛下若召而赦之,清先杀臣,然后可取。”唐宪宗颇为薛存诚的胆识所动,于是改变初衷,对薛存诚下诏嘉奖,放手让薛存诚办理鉴虚一案,薛存诚即将鉴虚鞭笞处死。
薛存诚不仅敢于惩办权奸,而且还勇于雪冤良善,就在他任御史小丞时,江西镇监军高重昌诬奏本镇所辖信州刺史李位谋反。谋反为重罪,唐宪宗当即下诏调李位回朝受审。薛存诚觉得此事有冤情,在李位回朝后,他一日向唐宪宗三次上表,要求将李位交付御史台审讯。唐宪宗准允了他的请求。薛存诚接案后经过认真审查,认为李位无罪,特为其昭雪。
不久,薛存诚迁授给事中,但唐宪宗却找不到御史中丞的合适人选,很思念薛存诚,即对宰相说:执法不徇私,没有人能代替薛存诚。于是又任薛存诚为御史中丞。但薛存诚未及上任,就得暴病死去。唐宪宗深表惋惜,特下启赠他为刑部侍郎。
唐元和末年,御史中丞薛存诚由台丞升门下省要职给事中。不到一个月,他又升任副御史。御史府第,整洁肃穆,远离街市。他升任后搬了进去,觉得心旷神怡。他来到厅中吟了两句诗:"卷帘疑客到,入户似僧归。"几个月后,看门的小吏正和衣而睡尚未睡深沉。他恍然间看见几十个僧童,拿着香花和印着佛名的幡旗,一边念着经文一边按顺序走进来。看门小吏斥道:"这是御史的公署,你们这是作什么法事,高声喊叫地进来?"其中一个和尚自称识达,是中丞薛存诚的弟子,这次来迎接师傅的。他说:"我师傅在吗?我们可以进去探望一下就把他接走吗?"看门小吏说:"这是中丞大人的官署,本不是寺院,你们怎么能随随便便就进来呢?!"当即就要去捉拿识达。识达说:"中丞原来是须弥山东峰静居院的罗汉大德,因为他错误地与佛祖说想涉足凡尘,被贬到人间五十年。现在五十年已满,我们所以来迎接他。这件事,你们这些人是不知道的。"看门小吏急忙要跑去报告,一下子从梦中惊醒。数天之后,薛存诚在公署患病而死,人们暗自一算,整好五十岁。
晏朝受明命,继夏走天衢。逮兹三伏候,息驾万里途。
省躬既跼蹐,结思多烦纡。簿领幸无事,宴休谁与娱。
内斋有嘉树,双植分庭隅。绿叶下成幄,紫花纷若铺。
摛霞晚舒艳,凝露朝垂珠。炎沴昼方铄,幽姿闲且都。
夭桃固难匹,芍药宁为徒。懿此时节久,讵同光景驱。
陶甄试一致,品汇乃散殊。濯质非受彩,无心那夺朱。
粤予负羁絷,留赏益踟蹰。通夕靡云倦,西南山月孤。