赵芬字士茂，天水西人。
父亲赵演，北周的秦州刺史。
赵芬少有辩才，很读了一些经史方面的书。
北周太祖任他为相府铠曹参军，历任记室，累次升迁到熊州刺史。
他招纳投降的，安一抚归顺的，得到了二千户人口。
加授他开府仪同三司。
大冢宰宇文护召他为中外府掾，他不久又升任吏部下大夫。
赵芬生一性一强干有才，不管干什么，都有政绩。
北周武帝亲总万机后，授他为内史下大夫，后转任少御正。
赵芬熟悉典章制度，朝廷每次有疑问，众人议论，不能决断的，赵芬就为之评断，没有不说好的。
他后来当司会。
申国公李穆征讨北齐时，引赵芬为行军长史，封他为淮安县男爵，食邑五百户。
又出京为淅州刺史，转任东京小宗伯，镇守洛一陽一。
隋高祖为北周丞相时，尉迟迥与司马消难一陰一谋来往，赵芬觉察到了，秘密告诉高祖。
因此深被重用，升为东京左仆射，晋爵位为郡公。
开皇初，罢东京官职，授为尚书左仆射，与郢国公王谊一起，起草法律。
继而兼任内史令，高祖很信任他。
不久，他因老病，出京任蒲州刺史，加授为金紫光禄大夫，仍兼管关东的漕运，赐他钱上百万，粮食五千石。
几年后，赵芬上表请求退休，被调回京师。
赐他二马轺车、几杖被子，让他回家。
皇太子又送他巾帔。
几年后去世。
皇上派人吊唁，鸿胪卿监护丧事。