胡威字伯武，一名貔，淮南郡寿春人。父亲胡质，以忠厚老成公正廉明著称，少年时与同乡蒋济、朱绩都是江淮间知名人士，曹魏时官至征东将军、荆州刺史。胡威早年就自勉立志向上。胡质任荆州刺史时，胡威自京都决定去省亲，因家贫，没有车马僮仆，独自驱赶一驴前往。每到客舍停下，亲自牧放，亲自打柴作饭，吃毕饭，又随伴侣沿途前进。既到荆州，见了父亲，住宿马房达十余日。告辞父亲回家时，父亲给一匹绢作行装。胡威说：“大人廉洁高尚，不知在什么地方得有此绢？”胡质说：“是我薪俸中节余下来的，把它作为你的干粮吧。”胡威接受了绢，告辞还家。胡质幕下都督在胡威告辞出发之前，请假回家，暗暗准备行装盘缠在百余里外等候，约胡威作伴同行，经常资助胡威。同行数百里，胡威生疑，有意诱问原因，终于明白了用意，便取出父亲赠的绢给都督，申谢送别。后来托他人带信告诉了胡质，胡质打了都督一百杖，革除了官职。他们父子廉洁慎重竟如此。于是名誉广为人知。
胡威官授侍御史，经历南乡侯、安丰太守，升迁为徐州刺史。勤于研究施政方法，教化之风盛行一世。
后进入朝廷，武帝谈到往常，因而赞叹他父亲廉洁，询问胡威说：“你和你父亲谁更廉洁？”胡威答道：“臣不如父。”武帝说：“你父亲为什么胜于你？”答：“我父廉洁恐怕人知其事，我却惟恐人不知，所以臣差得很远。”武帝认为胡威的话坦率而又委婉，谦虚而又顺理。接连升迁监豫州诸军事、右将军、豫州刺史，进入朝廷任尚书，加奉车都尉。
胡威曾向皇帝谏言指出时政过于宽松，皇帝说：“尚书郎以下的官，犯了错误我没有原谅的。”胡威说：“臣所说的宽松，哪里是指对丞郎令史等官，我是说对与臣同等的一批官也要严格，才可以严肃教化晓谕法制。”授任前将军、监青州刺史，因有功封为平春侯。太康元年(280)，死在任上，追任为使持节、都督青州诸军事、镇东将军，其他如旧，谥号称烈。子胡奕继承。
胡奕字次孙，官至平东将军。胡威弟胡罴，字季象，也有干才，被任用，官至益州刺史、安乐将军。