丘迟一生横跨宋、齐、梁三朝，出生成长于刘宋后期。 其父丘灵鞠，也是当时著名文人。
丘迟8岁能文。早年仕于南朝齐，任太学博士、大司马参军。因父丧，两次去职。服丧期满，任西中郎参军。母亡，又去职服丧。以秀才后仟殿中郎、车骑录事参军。入萧衍幕为骠骑主簿。梁武帝时，任散骑侍郎、中书侍郎，领吴兴邑中正，侍诏文德殿。坐事免职。
梁天监三年，出任永嘉太守，在任4年。提倡农桑，重视教化，崇尚俭约富民。虽然他的政绩史书记载较少，却是万历《温州府志》中南梁五十五年内入志的两位郡守之一。 任永嘉太守期间所作《永嘉郡教》一文中说“贵郡控带山海，利兼水陆。实东南之沃壤，一都之巨会。”
梁天监四年（505年），临川王萧宏伐魏，丘迟为谘议参军兼记室，时陈伯之率军抗梁，丘迟以一篇《与陈伯之书》打动陈伯之率部归降，其中“暮春三月，江南草长，杂花生树，群莺乱飞······”描写温州等江南景色，脍炙人口。
回朝后升中书郎、司空从事中郎（一作司徒从事中郎）。
梁天监七年，卒于任所，年仅44岁。
风已清，月朗琴复明。掩抑悲千态，殷勤是一声。
歌宛转，宛转和更长。愿为双鸿鹄，比翼共翱翔。
日已暮，长檐鸟应度。此时望君君不来，
此时思君君不顾。歌宛转，宛转那能异栖宿。
愿为形与影，出入恒相逐。
硕贤静广州，信为天下贞。屈兹大将佐，藉彼延阁英。
声动柳吴兴，郊饯意不轻。吾知段夫子，高论关苍生。
处以德为藩，出则道可行。遥知南楼会，新景当诗情。
天高林瘴洗，秋远海色清。时泰罢飞檄，唯应颂公成。
