车胤，字武子，南平郡人。曾祖父车浚，做过吴国会稽太守。父车育，做过郡主簿。南平太守王胡之以知人闻名，见到童年时的车胤，对其父车育说：“这小儿将会光耀足下门户，可使他学有专攻。”车胤勤奋不倦，博学多通。家中贫寒，常常缺少灯油，夏天夜里用白色丝袋盛装数十只萤火虫作照明读书，夜以继日。及至年长，风姿美妙，聪明机灵敏捷有智慧，在乡里之间很有声望。桓温做荆州刺史时，召车胤为从事，因其善于辨析义理而特别器重他。引为主簿，后又迁为别驾、征西长史，于是显名于朝廷。当时只有车胤和吴隐之是以贫寒博学知名于世的。车胤又善于赏玩集会，当时每有盛会而车胤不在，众人都说：“没有车公不快乐。”仆射谢安每逢游集之日，就摆设筵席恭候车胤。
宁康初年(373)，朝廷封车胤为中书侍郎、关内侯。孝武帝曾讲解《孝经》，仆射谢安侍坐于旁，尚书陆纳伴讲，侍中卞眈伴读，黄门侍郎谢石、吏部郎袁宏手执经书，车胤与丹杨尹王混选取文句，当时舆论把这看作是一种荣耀之盛事。车胤累迁侍中。太元年间(376～396)，朝廷增置太学生一百人，让车胤兼任国子博士。其后第二年，朝廷讨论郊庙明堂之事，车胤认为：“古代明堂的建制已很难弄清，况且乐的根本是和谐，礼的根本是恭敬，所以质朴与华美不同，音乐器一具也两样。既然茅屋大厦尺度标准不一，那么何必要遵守其形貌而不弘扬其根本顺应时代呢？天下安定，四境逆贼尽灭，然后可以大修明堂大学了。”当时朝廷听从了他的建议。车胤又迁职为骠骑长史、太常，晋封临湘侯，因病离职。不久朝廷任命他为护军将军。当时王国宝奉承讨好会稽王司马道子，婉言劝说朝廷执事大臣上奏让司马道子做丞相，加以特殊的待遇。车胤说：“这是周成王尊崇周公用的礼仪。今皇上正壮年，非年幼的成王可比，在位的丞相会稽王，怎能做周公呢！声望和实际不相称，不宜如此，这样做肯定大逆皇上的意愿。”于是车胤称病养身不办理此事。王国宝等人的疏表奏上去后，孝武帝大怒，而特别嘉奖车胤。
隆安初年(397)，朝廷任命车胤为吴兴太守，俸禄二千石，车胤称病不受。朝廷封他为辅国将军、丹杨尹。不久，改任吏部尚书。司马元显有过失，车胤与江绩私下告诉司马道子，准备向天子奏明，事情泄露，司马元显一逼一令车胤等人自裁。不久车胤身亡，朝廷非常痛惜。