江淹字文通，济一陽一郡考城县人。小时候父亲早逝，家境贫穷，很好学，内向不好交往。刚开始，任南徐州从事，不久任奉朝请。刘宋建平王刘景素喜欢有才的人，江淹跟随他在南兖州。广陵县令郭彦文有罪，江淹受到牵连被关进监狱。江淹在监狱上书申说自己冤枉，刘景素看完上书后，当天就把他放了。不久举为南徐州秀才，对策很好被评为优秀，任巴陵王国左常侍。
刘景素为荆州郡守，江淹随行任镇将。少帝即位后朝政昏乱，刘景素掌握大权，大家都劝他起兵反对朝廷。江淹总是劝谏说：“谣言招致灾祸，这是管叔、蔡叔一同灭亡的原因；抵触招来怨恨，七国诸侯王因此被杀。您不求国家的安危，听信左右的计谋，就又会看到麋鹿霜露出现在姑苏台上。”刘景素没有采纳他的建议。后来刘景素镇守京口，江淹又任镇军参军事、南东海郡丞。刘景素与几位贴心的人日夜策划谋反，江淹知道灾祸将要发生，写了十五首诗劝谏他。
刚巧东海郡太守陆澄遭父丧，江淹作为郡丞自认为应该代理郡守，刘景素则启用了司马柳世隆。江淹坚决请求，刘景素很气愤，告诉选辟部，降江淹任建安郡吴兴县令。江淹任县令三年。升明初年，齐帝辅佐政权，听说江淹有才能，召为尚书驾部郎、骠骑参军事。不久荆州刺史沈攸之起兵作乱，高帝问江淹：“天下这样乱，你看怎么办？”江淹回答说：“过去项羽强，刘邦弱；袁绍人多，曹一操一人少；项羽曾分封诸侯，最后还是自一杀受辱；袁绍曾统占四州，最后还是败将。这就说明‘有德行就有天下’。您何必忧虑呢？”齐帝说：“听到这种说法的人很多，你讲详细一点。”江淹说：“您勇敢又有奇谋，是必胜之一；宽容仁厚，必胜之二；贤能的人都为您尽力，必胜之三；人民的心都向着您，必胜之四；奉天子的命令讨伐叛逆，必胜之五。沈攸之志向大器量小，必败之一；有威权而无恩服，必败之二；士卒无心作战，必败之三；官吏和绅士不喜欢，必败之四；兵力分散在几千里的战线上，不能相互救助、共同克服困难，必败之五。所以说即使有十万叛兵，最终也会被我擒获。”齐帝笑着说：“你说的过头了。”当时军队战书文告，都让江淹起草。相国建立，补任记室参军事。建元初，又任骠骑豫章王记室，兼东武县令，参与草拟诏书册令，并撰写国史。不久升任中书侍郎。永明初年，迁为骠骑将军，掌国史。出京任为建武将军、庐陵内史。任职三年，回京为骁骑将军，兼尚书左丞。不久以本官兼任国子博士。少帝初年在原任的基础上兼任御史中丞。
当时明帝任丞相，对江淹说：“你过去在尚书台中，不是自己分内的事不随便管，当官不太严也不太松很适度。现在任南司，一定能震动严肃百官。”江淹回答说：“现在只是例行公事，恐怕才小志短，不能胜任呵。”于是以长期有病不管帝王陵墓事宜罪，弹劾中书令谢月出、司徒左长史王缋、护军长史庾弘远。又上告前益州刺史刘悛、梁州刺吏一陰一智伯两人私藏货币上万，立即交给廷尉定罪。临海太守沈昭略、永嘉太守庾昙隆，还有不少郡二千石官员及大县的长官，大多被弹劾惩治，内廷外府都很恭敬。明帝对江淹说：“自刘宋以来，不再有严格清明的中丞，你可以算得上仅有的一个。”
明帝即帝位后，江淹任车骑临海王长史。不久任廷尉卿，加封给事中。迁任冠军将军，加辅国将军。出任宣城太守，将军职位仍然保留。任郡守四年，回京城任黄门侍郎、领步兵校尉，不久又任秘书监。
永元年间，崔慧景发兵围攻京城，官吏都去投靠他们，呈上自己的名片。江淹装病在家没有去。事情平息后，世人都信服他有先见之明。
东昏末年，江淹以秘书监的身份兼任卫尉，坚决请求辞官没有得到同意，只好就任，并对人说：“这并不是我想当官，世人都知道，只是借我的空名而已。而且自然变化的时序和人世的事物，不久就会发生变化。孔子说：‘有文事的人必定有武备。’事到临头再作打算，何必忧愁呢？”又任领军王莹的副手。待到义军到新林，江淹穿着百姓的衣服来投靠，梁高祖提任他为冠军将军，仍任秘书监。不久兼任司徒左长史。中兴元年(501)，迁任吏部尚书。中兴二年(502)，转任相国右长史，仍任冠军将军。天监元年(502)，任散骑常侍、左卫将军，封为临沮县开国伯，食邑四百户。江淹便对子弟说：“我本来是个无实权的官，不想富贵，如今这样的官位，实在是有愧。平生总是说知足。人生只要快乐，何必求富贵呢。我功成名就，正想回到家里过平常人的日子。”当年，因病任金紫光禄大夫，改封为醴陵侯。四年(505)江淹死，终年六十二岁。高祖穿素服致哀，赠钱三万、布五十匹。
江淹年轻时因文章写得好而出名，到晚年才思有所减退，当时人们都说他才思已用尽了。一生著述达百余篇，自己将它们收集为前后两集，还有《齐史》十志，均流行于世。