辛彦之是陇西狄道人。
祖父辛世叙，西魏凉州刺史。
父亲辛灵辅，北周渭州刺史。
辛彦之九岁时父亲去世，他不与不三不四的人交往，广泛涉猎经史之书，与天水的牛弘志同道合，一爱一好学习。
后进入关内，在京兆定居。
周太祖器重他，召引他做中外府礼曹，赏赐给他衣马珠玉。
当时国家初创，各种制度、礼仪还没有健全，而朝中大臣大多是行武出身，修定礼仪典章，只有辛彦之而已。
太祖不久拜辛彦之为中书侍郎。
周闵帝即位后，辛彦之与少宗伯卢辩专管礼仪制度。
周明帝、周武帝年间(557～578)，辛彦之历任典祀、太祝、乐部、御正四曹大夫，封开府仪同三司。
辛彦之奉命迎接突阙皇后回朝后，皇上赠给他二百匹马，封为龙门县公，食邑千户。
不久，晋爵为五原郡公，增加食邑一千户。
周宣帝即位后，授彦之为少宗伯。
隋高祖即位后，升辛彦之为太常少卿，改封任城郡公，进位上开府。
不久调任国子祭酒。
一年多后，高祖拜辛彦之为礼部尚书，和秘书监牛弘作《新礼》一书。
吴兴人沈重有博学之名，高祖曾令辛彦之与沈重辩论学问，沈重辩不过他，于是退席谢罪说：“辛君的学识就像金城汤池，我无法攻破它。”高祖大喜，后拜辛彦之为隋州刺史。
当时各州的长官大都向朝廷上贡珍宝玩物，只有辛彦之上贡的都是祭礼之物。
高祖非常喜欢，对朝臣说：“人怎么能没有学问，辛彦之的上贡方式，很有古人的遗风。”辛彦之调任潞州刺史，他前后任职之处，都有仁政之名。
辛彦之信仰佛教，在城内修佛寺两所，都高十五层。
开皇十一年(592)，潞州人张元突然死去，几天后却意外地活了。
张元说他云游天上，看见一所新建的房子，建制相当华丽。
张元问是怎么回事，人们说，这是潞州刺史辛彦之有功德，建造这所殿堂迎接他。
辛彦之听了并不高兴。
这一年他死在任上。
谥为“宣”。
辛彦之撰写的《坟典》一部，《六官》一部，《祝文》一部，《礼要》一部，《新礼》一部，《五经异义》一部，都流传于世。
他有个儿子叫辛仲龛，官至猗氏县令。