岑羲拜相后，兄长岑献担任国子监司业，弟弟岑仲翔、岑仲休担任州刺史，岑氏兄弟子侄数十人都官居要职。岑羲感叹道：“物极必反，我得有所戒惧啊。”但却并未因此有所黜退。

早期事迹

　　岑羲年轻时考中进士，累迁至太常博士。691年（天授二年），宰相岑长倩被诬谋反，下狱而死。岑羲因是岑长倩的侄子，也受到牵连，贬为郴州司法参军。

　　在担任金坛县令期间，岑羲因政绩突出，与弟弟长洲县令岑仲翔、溧水县令岑仲休并称江东三岑，受到宰相宗楚客的赞誉，又被江南道巡察御史荐为汜水县令。

回朝任职

　　704年（长安四年），武则天命宰相举荐官员。凤阁侍郎韦嗣立便推举岑羲，并道：“只可惜他被伯父岑长倩所连累。”武则天道：“只要他有才干，就不会受到连累。”于是任命岑羲为天官员外郎。此后，刘守悌、裴惓等受到亲属牵连的官员相继获得擢升。

　　705年（神龙元年），唐中宗复位，岑羲被任命为中书舍人。不久，侍中敬晖打算上表朝廷，请求降封武氏诸王，请人起草奏疏。岑羲执笔而书，言辞恳切，因此惹怒武三思，被贬为秘书少监。

　　707年（景龙元年），太子李重俊发动政变，失败被杀。侍御史冉祖雍趁机诬陷相王李旦与太平公主曾与太子同谋，请求中宗审问调查。岑羲与中书侍郎萧至忠上表劝谏皇帝，力保李旦与太平公主。后来，岑羲监修《中宗实录》，将此事记述下来。

　　708年（景龙二年），岑羲改任吏部侍郎。当时，一同负责选官的吏部侍郎崔湜、太常少卿郑愔、大理少卿李元恭都大肆受贿，以贪腐著称。只有岑羲恪守正道，受到舆论的称赞。

担任宰相

　　710年（景云元年），唐中宗驾崩，韦皇后立温王李重茂为帝，是为殇帝。岑羲被擢升为右散骑常侍、同中书门下三品，成为宰相，不久又持节巡抚河南道。

　　不久，李隆基发动唐隆政变，杀死韦皇后，废黜唐殇帝，拥立相王李旦为帝，是为唐睿宗。岑羲出任陕州刺史，后历任刑部尚书、户部尚书，并监修国史。

　　712年（先天元年），岑羲再次担任同中书门下三品，并因此前保护睿宗的功劳，进拜侍中，封爵南阳郡公。同年八月，唐睿宗禅位于皇太子李隆基，是为唐玄宗。

　　当时，太平公主权倾朝野，岑羲与窦怀贞、崔湜全都依附于她，日夜谋划作乱。宰相刘幽求和禁军将领张暐计划除掉他们，但是事情泄露，都被流放岭南。

政变伏诛

　　713年（开元元年），太平公主与窦怀贞、岑羲、萧至忠、崔湜及太子少保薛稷、雍州长史李晋等人密谋，打算废黜唐玄宗，另立皇帝。

　　同年七月，太平公主定于四日起兵作乱，命左羽林大将军常元楷、右羽林将军李慈率军闯入武德殿，又命岑羲与窦怀贞、萧至忠在南衙举兵响应。结果尚未行动，消息便已泄露。

　　唐玄宗与岐王李范、薛王李业、宰相郭元振商议后，命龙武将军王毛仲率军由武德殿进入虔化门，斩杀常元楷、李慈，并闯入朝堂，擒斩岑羲、萧至忠。岑羲死后，家产也被抄没。