曾肇治平四年（1067）中进士，初为黄岩县主簿、郑州教授，后调崇文阁校书、馆阁校勘兼国子监直讲、太常寺同知。到崇文院后对秦汉以来的礼仪之规增补修正，使其完善，同时删定《九域志》，得到宋神宗嘉许，调国史馆编修，进吏部郎中，改右司，为《神宗实录》检讨。元祐初（1086），任起居舍人，不久为中书舍人。多次谏言朝廷应辩邪正，少宴乐，因意见不合，辞给事中职，以宝文阁待制知颍州（今安徽阜阳），调知邓州（今河南邓县）、齐州（今济南）、陈州（今河南淮阳）及应天府（今南京）。元祐七年，调为吏部侍郎，又因有关祭祀一事，改刑部，出知徐州、江宁府。
元祐八年（1093）十月，宋哲宗继位，起用一些旧臣，召曾肇入朝。曾肇建议选用忠信端良之士，防止近臣参政，遭贵戚攻击，出知瀛州（今河北河间）。绍圣四年（1097），前史官范祖禹等在修撰神宗《实录》时有讥讪言语，被降罪。曾肇参与修撰，亦被降调滁州。后复为集贤殿修撰，出知泰州、海州（今连云港市）。
元符三年（1100）正月，宋徽宗即位。曾肇复为中书舍人，上疏建议广开言路，昭雪元祐党人，改任翰林学士兼侍读，掌管起草诏令。时有谏官陈灌、给事中龚原以言获罪，无人敢救，曾肇挺身而出，极力进行辩解。建中靖国元年（1101），因兄布在相位，避嫌拜龙图阁学士，提举中太一宫。出知陈州，再任太原、应天府、扬州、定州（今湖北麻城）地方长官。修《哲宗实录》、《神宗宝训》、《国朝会要》，提举中太一宫。后出知陈、扬、定、岳、和州，历太原、应天府。
崇宁元年（1102），元祐期间的士大夫再度遭贬，曾肇亦被放逐到和州（今安徽和县）、岳州（今湖南岳阳），再贬到濮州（今山东鄄城）为团练副使，最后到汀州。四年，得以归。
大观元年（1107）卒于镇江。
事英、神、哲、徽四朝，共40余年，践14州，任吏、户、刑、礼四部侍郎，两为中书舍人。卒后30余年才被追封为曲阜县开国侯，赠少师，绍兴初谥“文昭”。明王世贞谓其书“如玉环拥（“九”加“重”），自是太平人物”。
碑者，悲也。古者悬而窆，用木。后人书之以表其功德，因留之不忍去，碑之名由是而得。自秦汉以降，生而有功德政事者，亦碑之，而又易之以石，失其称矣。余之碑野庙也，非有政事功德可纪，直悲夫甿竭其力，以奉无名之土木而已矣！
瓯越间好事鬼，山椒水滨多淫祀。其庙貌有雄而毅、黝而硕者，则曰将军；有温而愿、晰而少者，则曰某郎；有媪而尊严者，则曰姥；有妇而容艳者，则曰姑。其居处则敞之以庭堂，峻之以陛级。左右老木，攒植森拱，萝茑翳于上，鸱鸮室其间。车马徒隶，丛杂怪状。甿作之，甿怖之，走畏恐后。大者椎牛；次者击豕，小不下犬鸡鱼菽之荐。牲酒之奠，缺于家可也，缺于神不可也。不朝懈怠，祸亦随作，耄孺畜牧栗栗然。疾病死丧，甿不曰适丁其时耶！而自惑其生，悉归之于神。
虽然，若以古言之，则戾；以今言之，则庶乎神之不足过也。何者？岂不以生能御大灾，捍大患，其死也则血良于生人。无名之土木不当与御灾捍患者为比，是戾于古也明矣。今之雄毅而硕者有之，温愿而少者有之，升阶级，坐堂筵，耳弦匏，口粱肉，载车马，拥徒隶者皆是也。解民之悬，清民之暍，未尝怵于胸中。民之当奉者，一日懈怠，则发悍吏，肆淫刑，驱之以就事，较神之祸福，孰为轻重哉？平居无事，指为贤良，一旦有大夫之忧，当报国之日，则佪挠脆怯，颠踬窜踣，乞为囚虏之不暇。此乃缨弁言语之土木尔，又何责其真土木耶？故曰：以今言之，则庶乎神之不足过也。
既而为诗，以纪其末：土木其形，窃吾民之酒牲，固无以名；土木其智，窃吾君之禄位，如何可仪！禄位颀颀，酒牲甚微，神之享也，孰云其非！视吾之碑，知斯文之孔悲！
