早期事迹
岑羲年轻时考中进士，累迁至太常博士。691年（天授二年），宰相岑长倩被诬谋反，下狱而死。岑羲因是岑长倩的侄子，也受到牵连，贬为郴州司法参军。
在担任金坛县令期间，岑羲因政绩突出，与弟弟长洲县令岑仲翔、溧水县令岑仲休并称江东三岑，受到宰相宗楚客的赞誉，又被江南道巡察御史荐为汜水县令。
回朝任职
704年（长安四年），武则天命宰相举荐官员。凤阁侍郎韦嗣立便推举岑羲，并道：“只可惜他被伯父岑长倩所连累。”武则天道：“只要他有才干，就不会受到连累。”于是任命岑羲为天官员外郎。此后，刘守悌、裴惓等受到亲属牵连的官员相继获得擢升。
705年（神龙元年），唐中宗复位，岑羲被任命为中书舍人。不久，侍中敬晖打算上表朝廷，请求降封武氏诸王，请人起草奏疏。岑羲执笔而书，言辞恳切，因此惹怒武三思，被贬为秘书少监。
707年（景龙元年），太子李重俊发动政变，失败被杀。侍御史冉祖雍趁机诬陷相王李旦与太平公主曾与太子同谋，请求中宗审问调查。岑羲与中书侍郎萧至忠上表劝谏皇帝，力保李旦与太平公主。后来，岑羲监修《中宗实录》，将此事记述下来。
708年（景龙二年），岑羲改任吏部侍郎。当时，一同负责选官的吏部侍郎崔湜、太常少卿郑愔、大理少卿李元恭都大肆受贿，以贪腐著称。只有岑羲恪守正道，受到舆论的称赞。
担任宰相
710年（景云元年），唐中宗驾崩，韦皇后立温王李重茂为帝，是为殇帝。岑羲被擢升为右散骑常侍、同中书门下三品，成为宰相，不久又持节巡抚河南道。
不久，李隆基发动唐隆政变，杀死韦皇后，废黜唐殇帝，拥立相王李旦为帝，是为唐睿宗。岑羲出任陕州刺史，后历任刑部尚书、户部尚书，并监修国史。
712年（先天元年），岑羲再次担任同中书门下三品，并因此前保护睿宗的功劳，进拜侍中，封爵南阳郡公。同年八月，唐睿宗禅位于皇太子李隆基，是为唐玄宗。
当时，太平公主权倾朝野，岑羲与窦怀贞、崔湜全都依附于她，日夜谋划作乱。宰相刘幽求和禁军将领张暐计划除掉他们，但是事情泄露，都被流放岭南。
政变伏诛
713年（开元元年），太平公主与窦怀贞、岑羲、萧至忠、崔湜及太子少保薛稷、雍州长史李晋等人密谋，打算废黜唐玄宗，另立皇帝。
同年七月，太平公主定于四日起兵作乱，命左羽林大将军常元楷、右羽林将军李慈率军闯入武德殿，又命岑羲与窦怀贞、萧至忠在南衙举兵响应。结果尚未行动，消息便已泄露。
唐玄宗与岐王李范、薛王李业、宰相郭元振商议后，命龙武将军王毛仲率军由武德殿进入虔化门，斩杀常元楷、李慈，并闯入朝堂，擒斩岑羲、萧至忠。岑羲死后，家产也被抄没。
常州贤刺史，从谏议大夫除。天地好生物，
刺史性与天地俱。见山客，狎鱼鸟。坐山客，北亭湖。
命舟人，驾舫子，漾漾菰蒲。酒兴引行处，正见渔人鱼。
刺史密会山客意，复念网罗婴无辜。忽脱身上殷绯袍，
尽买罟擭尽有无。鳗鳣鲇鳢鳅，涎恶最顽愚。鳟鲂见豳风，
质干稍高流。时白喷雪鲫鲤yA，此辈肥脆为绝尤。
老鲤变化颇神异，三十六鳞如抹朱。水苞弘窟有蛟鼍，
饵非龙饵唯无鲈。丛杂百千头，性命悬须臾。天心应刺史，
刺史尽活诸。一一投深泉，跳脱不复拘。得水竞腾突，
动作诡怪殊。或透藻而出，或破浪而趋。或掉尾孑孑，
或奋鬣愉愉。或如莺掷梭，或如蛇衔珠。四散渐不见，
岛屿徒萦纡。鸂鶒鴒鸥凫，喜观争叫呼。小虾亦相庆，
绕岸摇其须。乃知贪生不独顽痴夫。可怜百千命，
几为中肠菹。若养圣贤真，大烹龙髓敢惜乎。苦痛如今人，
尽是鱼食鱼。族类恣饮啖，强力无亲疏。明明刺史心，
不欲与物相欺诬。岸虫两与命，无意杀此活彼用贼徒。
亦忆清江使，横遭乎余且。圣神七十钻，不及泥中鳅。
哀哉托非贤，五脏生冤仇。若当刺史时，圣物保不囚。
不疑且不卜，二子安能谀。二子倘故谀，吾知心受诛。
礼重一草木，易封称中孚。又曰钓不纲，又曰远庖厨。
故仁人用心，刺史尽合符。昔鲁公观棠距箴，
遂被孔子贬而书。今刺史好生，德洽民心，
谁为刺史一褒誉。刺史自上来，德风如草铺。衣冠兴废礼，
百姓减暴租。豪猾不豪猾，鳏孤不鳏孤。开古孟渎三十里，
四千顷泥坑为膏腴，刺史视之总若无。讼庭雀噪坐不得，
湖上拔茭植芙蕖。胜业庄中二桑门，时时对坐谈真如。
因说十千天子事，福力当与刺史俱。天雨曼陀罗花深没膝，
四十千真珠璎珞堆高楼。此中怪特不可会，
但慕刺史仁有馀。刺史敕左右兼小家奴，慎勿背我沉毒钩。
念鱼承奉刺史仁，深僻处，远远游。刺史官职小，
教化未能敷。第一莫近人，恶人唯口腴。第一莫出境，
四境多网罟。重伤刺史心，丧尔微贱躯。
