卫馞字伯玉，河东安邑人。高祖卫詗，汉明帝时因一精一于儒学自代郡征召，行至河东安邑死于途中，皇帝将他死的地方赐给他做安葬的墓地，子孙也就在此地安家。父亲卫觊，是魏尚书。卫馞十岁丧父，尽孝道超过常人。一性一格正直沉静善辨事理，以明智多识清廉公允而著称。继承了父亲的爵位阌乡侯。二十岁为魏尚书郎。当时魏法苛严，母亲陈氏为他担心，经卫馞自己请求，转徙为通事郎，又转为中书郎。当时权臣专一政，卫馞在权臣之间周旋，不亲不疏，为傅嘏所看重，认为可比于春秋时的宁武子。在官位十年，以胜任职守被称赞，累迁至散骑常侍。陈留王即位，拜为侍中，持节到河北慰劳。因参与决定大事，增食邑户数。几年后转为廷尉卿。卫馞明习法理，每次处理讼狱，无论大小案件都能判得合情合理。
邓艾、钟会伐蜀时，卫馞以廷尉卿身份持节监督伐蜀军，执行镇西军司的权力，拨给士兵千人。平蜀以后，邓艾即承魏主旨意，封蜀君臣。钟会心怀不轨，利用邓艾专权的缺点，秘密与卫馞上奏邓艾在蜀作为。皇帝下诏用槛车将邓艾送往京城，钟会派遣卫馞先去逮捕邓艾。钟会认为卫馞兵少，想让邓艾杀掉卫馞，然后给邓艾加上罪名。卫馞知道钟会想害自己，然而又没有理由拒绝，即夜间来到成都，通知邓艾所统率的将领，说皇帝有诏逮捕邓艾，其余人一概不问。若到官军军营来的，爵位赏赐和原来一样，敢有不来者，诛灭三族。到鸡叫时，诸将都被卫馞召来，只有邓艾还在帐内。天亮开门，卫馞坐着使者的车，径直来到成都殿前。邓艾还在一床一上未起，父子一起被捕。邓艾部下将领谋划要救邓艾，各持兵器奔赴卫馞营前。卫馞不带卫兵出来迎接，假装为皇帝写好了表章，将罗列邓艾罪行上报，诸将信以为真，即退去。
不久钟会也到了，钟会请诸将胡烈等出来议事，趁机逮捕了他们，关押在益州官府，遂即发兵反叛。当时士卒思归，内外騷动，人情忧惧。钟会留住卫馞，商量对策，在木板上写上“欲杀胡烈等”几个字，举起来让卫馞看，卫馞不同意，两人因而互相猜疑。卫馞到厕所去，看到胡烈原来的给使，使他到三军中宣传，说钟会要造反。钟会一逼一卫馞决定大计，二人一一夜未睡，各人将刀横放在膝上。外面诸军已暗地准备攻击钟会，因卫馞没有出去，不敢动手。钟会使卫馞出去慰劳诸军。卫馞心里很想出去，为消除钟会的疑虑，故意说：“您是三军之主，应亲自去慰劳。”钟会说：“您是监司，暂且先去，我随后出去。”卫馞便下了殿。钟会后悔使卫馞出去，使人呼唤卫馞转回。卫馞以头晕病发作推辞，并故意倒在地上。等走出阁门时，数十个使者又追来，卫馞到外面解舍，喝些盐汤，大量呕吐。卫馞平时身质瘦弱，便像得了重病，钟会派亲信和医生去探视，都说卧病不起，钟会因此便无所忌惮。天黑以后，殿门关闭，卫馞作檄文将钟会谋反事宣告于诸军。诸军本已打算举兵攻打钟会，于是黎明时，一齐向钟会进攻。钟会率左右士卒抵抗，被诸军击败。只有帐下数百人随着钟会绕殿奔走，全被诸军杀死。卫馞于是部署诸将，军心这才安定。
邓艾本营将士又追上押送邓艾的槛车，救出邓艾，转回成都。卫馞觉得与钟会共同陷害过邓艾，怕邓艾回成都后发生变故，又想独得杀钟会的功劳，于是派遣护军田续到绵竹，夜间在三造亭袭击邓艾，把邓艾和他儿子邓忠都杀了。当初邓艾进入江由时，因田续迟疑不进，准备处斩，以后又赦免了他。卫馞派田续杀邓艾时对他说：“这回可以报江由的耻辱了。”
灭蜀平叛以后，朝廷议论封卫馞。卫馞自以为平蜀是诸将帅的功劳，邓、钟二将专横跋扈，自取灭亡，自己虽出计献谋，而无拔旗斩将之功，坚决辞让不受封。最后授予使持节、都督关中诸军事、镇西将军等职衔。不久迁为都督徐州诸军事，镇东将军，增封..陽侯，以余爵封卫馞的弟弟卫实为开陽亭侯。
泰始初年(265～274)转为征东将军，晋爵为公，都督青州诸军事、青州刺史，加征东大将军、青州牧。在各任上都有政绩，又拜为征北大将军、都督幽州诸军事、幽州刺史、护乌桓校尉。到镇以后，上表设立平州，平州军事由卫馞兼管。当时幽、并二州东有乌桓，西有力微，一起危害边疆。卫馞离间二虏，使他们之间产生矛盾，于是乌桓投降而力微忧愁而死。朝廷嘉奖其功，封他的一个儿子为亭侯。卫馞请求封给弟弟，弟弟未受封而死。弟弟之子卫密受封为亭侯。卫馞六个儿子无爵，把爵位让给两个弟弟，受到远近人的称赞。卫馞多次要求入朝，入朝以后，武帝很好地宽待了他，不久又使他回镇。
咸宁初年(275～280)，征召回京拜为尚书令，加侍中。卫馞为人严肃而整齐，以法驾御下属，把尚书当作自己的助手，尚书郎当作属吏。学问渊博，擅长文艺，与尚书郎敦煌人索靖都善作草书，当时人称为“一台二妙”。汉末张芝也善草书，论书者以为卫馞得伯英之筋，索靖得伯英之肉。
太康初年(280～289)，迁为司空，侍中、尚书令不动。为政清廉，在朝野甚有声誉。武帝令卫馞第四子卫宣与繁昌公主为婚。卫馞以为自己出身士人庶族，婚对一向为平民，上表坚意辞让，武帝不许。又兼任太子少傅，加千兵百骑鼓吹之府。因为那年发生日蚀，卫馞与太尉汝南王司马亮、司徒魏舒都请求退位，武帝没有答应。
卫馞以为魏建立九品中正制，是权宜之计，非常规通用之道，应恢复古代由乡里选拔推荐的制度。于是与太尉司马亮等向皇帝上疏说：“昔圣王崇尚贤者，举拔善者以教化万民，因而使朝廷之人有德让，乡野之人无邪行。以乡闾之政绩，确实可以检验一个人的才德，察其事考其言，必能得到善者。人们知道名誉不是凭空求得，会转来修养己身。因而崇贤则民俗会更加和顺，逐恶则人们行为更加忠厚。所以从乡里选拔推荐人才，成为先王好的制度。以后此法衰败不行。魏氏处在天下大乱，国家颠覆之际，士人流徙不定，无固定考核之地，所以建立九品之制，姑且作为当时选用人才的依据。这种制度开始执行时，乡邑人品评清议，不拘于爵位高低，对人们的褒贬，足以起到勉励作用，还有重视乡里舆论的风气。中间渐渐变化，遂按资格地位定品级，天下贤士只能观望，只有在位的官宦为贵，使人们放弃品德修养，忽视对理想事业的追求，而在细微末节上争执计较，损伤风俗，弊端不小。当今天下一统，王化开始大行，臣等以为应废除九品制度，一律仿效古制，以地域划分，自公卿以下，皆以所居地为推荐渠道，不须到处流徙客游于远方异土。这样，则同乡邻居，皆为邑里知情之人，郡县长官，都是主持推荐的长者。废除中正九品制度，使推举善良进用贤才之事，由各地乡里舆论裁决。如此则下敬其上，人人安守教化，民俗与施政皆可清廉，教化与法制皆可完善。人们知道善与不善之名，不在于交游，则浮华竞争之风自息，各人都会从自身作起。今天如果废除九品，则应以古制为准，使朝臣共同荐举贤者，这样发现选用人才的路子既广，也可以鼓励推重人才的公心，考核在位官吏的明暗，实在是一种好制度。”武帝以为这个意见很好，但终于没有革除九品制度。
惠帝定为太子，朝臣都认为太子智力单纯质木，不能亲理政事。卫馞多次想向武帝陈奏废除太子，但未敢开口，后逢与武帝宴饮于陵云台，卫馞假托酒醉，跪在武帝一床一前说：“臣有话要说。”武帝说：“公所言是何事？”卫馞三次要说而终于忍住没有说，最后用手抚一摸一着御一床一说：“这个座位可惜啊！”武帝明白了他的意思，故意装着不懂说：“你真是醉了。”卫馞于是不再提此事。由此也引起了贾后对他的怨恨。
卫宣娶公主，多次有好酒贪色的过错。杨骏平素与卫馞不和，又想独揽大权，以为如果卫宣与公主离婚，卫馞必然辞职引退，于是遂与黄门等共同毁谤诬陷卫宣，启示武帝召回公主。卫馞惭愧害怕，告老辞职。武帝下诏说：“司空卫馞未到致仕的年龄，而历年请求退位，欲在神志未衰时离职，以保持晚节，真诚之风实感吾心。现听从本人要求，晋位为太保，以公爵回府第。给亲兵百人，置长史、司马、从事中郎掾属；大车、官骑、麾盖、鼓吹等威仪，一律按旧典办理。拨给厨田十顷、园五十亩、钱百万、绢五百匹；一床一帐席褥，主事者务要优厚齐备，以符合我尊崇贤者之意。”有司又上奏逮捕卫宣交廷尉判罪，免除卫馞爵位，武帝不许。武帝后来知道卫宣的事是黄门虚构诬陷，想让卫宣与公主复婚，而卫宣病死。
惠帝即位，又给卫馞千兵。杨骏被杀，以卫馞掌尚书事，加绿纟戾绶，带剑穿履上殿，入朝不趋走，给骑司马，与汝南王司马亮共辅朝政。司马亮奏请诸王各回封地，与朝臣商议此事，无人敢应和，只有卫馞赞成，楚王司马玮因此怨恨卫馞。贾后平时也怨恨卫馞，并憎恶他为人正直，使自己不能肆意暴虐；又听说卫馞与司马玮有冲突，遂毁谤卫馞与司马亮欲效伊尹、霍光行废立之事，让惠帝作手诏，使司马玮免除卫馞等人官爵。黄门将诏书交给司马玮，司马玮做事轻狂冒险，欲发泄私怨，夜间使清河王司马遐逮捕卫馞。卫馞左右侍卫怀疑司马遐是假借皇帝之名，都劝说道：“礼制法律规定对待台辅大臣不会如此，且请抗拒来者，待亲自上表，得到皇帝答复，再死未晚。”卫馞不听从，遂与儿子卫恒、卫岳、卫裔及孙等共九人一同被害，终年七十二岁。卫恒两个儿子卫..、卫..当时在医生家里，得免于难。
当初，杜预听到卫馞杀邓艾的消息，对众人说：“伯玉以后也难免遭难，身为名士，位居总帅，既无德声，又不以正直之道驾御下属，行小人之事而虚有君子之名，如何负其责呢？”卫馞听说后，不待车驾而去向杜预道谢。其结局果如杜预所言。当初，卫馞家里人做饭，饭粒掉在地上都变成螺，过了一年多遭祸。太保主簿刘繇冒险收一尸一安葬了卫馞。
当初，卫馞为司空，帐下督荣晦有罪，被卫馞斥逐。司马玮捕卫馞时，荣晦随兵报怨，故卫馞子孙皆被杀。
楚王司马玮被杀后，卫馞之女给大臣上书说：“先公死后没有爵位谥号，无异于平民，国人轻蔑而无仗义之言，令人奇怪。《春秋》褒贬之义不存，过错在谁？悲愤感慨，故以此意相告。”于是刘繇等执黄鏣，敲响朝门外的登闻鼓，向皇帝上言说：“当初矫诏者来到卫公宅，卫公受诏当免官，立即送出印绶，虽有卫士兵仗，未动一刀一槍，按诏命单车出府第。按诏书之文只免去官爵，而右军以下之人即借诏命行其诈伪，违背诏书本意，杀害宰辅，不再上表请示，蛮横地逮捕卫公子孙辄皆行刑，杀害大臣父子九人。伏见处理此事的诏书说‘为楚王所诳误不是本有同谋者都宽免遣去’，按诏书之意，这些杀人者好像是被驱一逼一的手持白杖的乡里人。按法律，受教唆杀人，也不得免死。何况害死功臣，残杀忠良，虽说不是主谋，理应不可赦免。今元凶虽死，而杀人凶手还在。臣怕有不知事实详情，或有漏网，凶手不能尽诛，使公父子仇人不灭，冤魂永恨，诉于苍天，苦痛之臣，悲于人世。臣等身被创伤，殡殓刚完。谨条列卫馞前任司空时，帐下给使荣晦因伪诈被黜，知道卫馞家中人数，子孙名字。荣晦后转为右军给事，捕卫馞那天夜里，荣晦在门外高声大呼，宣诏书免公官爵还府宅。门开后，荣晦来到中门，又宣读所带伪诏，亲手取掉卫公的印绶和貂蝉冠，催公出府第。又按次序登记搜捕卫馞家人及其子孙，皆用兵仗押出，停在东亭道包围看守，并在一时之间全部杀死。卫公子孙被害实由于荣晦。带人偷盗抢劫府库，都是荣晦所为。考问荣晦一人，众一奸一人都会供出。请验证事实，加以灭族之罪。”皇帝下诏同意刘繇等人的处理意见。
朝廷因卫馞全家无辜受害，追念卫馞伐蜀之功，封为兰陵郡公，增邑三千户，谥号为“成”，赠假黄钺。