杜淹年轻时聪慧明辨,学识广博,颇有美誉,与同乡韦福嗣是莫逆之交。他对韦福嗣道:“皇帝喜欢任用隐士,苏威便是在隐居时被征辟为美职。”因此一同隐居在太白山,其实是在沽名钓誉。隋文帝听闻,极为憎恶,将二人流放江南。后来,杜淹返回乡里,得到雍州司马高孝基的举荐,授为承奉郎,累迁至御史中丞。
武德二年(6),杜淹成为王世充的太尉府官属。四月,王世充僭号称帝,建立郑国,任命杜淹为吏部尚书,对他非常信任。当时,杜淹因与侄子杜如晦不睦,便在王世充面前进谗,致使杜如晦的兄长杜某(名不详)被杀。杜如晦的弟弟杜楚客在郑国(为王世充建立)为官,也遭到囚禁。
武德四年(6),秦王李世民平定王世充。杜淹作为郑国高官,被定为死罪。杜如晦在李世民麾下效力,杜楚客便请他加以营救。杜如晦不允,杜楚客哭道:“叔父已经害死大哥,如今哥哥又不肯营救叔叔,我杜家要自相残杀,真是令人悲痛。”杜如晦感悟,向李世民求情,方免去杜淹的死罪。后来,杜淹因久不升职,欲投靠太子李建成,被负责选官的封德彝告知房玄龄。房玄龄担心李建成得到杜淹会对李世民造成威胁,便举荐杜淹为天策府兵曹参军、文学馆学士。
武德七年(624年),庆州刺史杨文干起兵叛乱,李建成与李世民的矛盾加剧。唐高祖认为杜淹未能劝导李世民,致使其兄弟失和,将他和东宫属官王珪、韦挺一同流放巂州(今四川西昌)。李世民知道杜淹无罪,只是受到牵累而已,赠他黄金三百两。
武德九年(626年),李世民发动玄武门之变,诛杀李建成,被立为皇太子,不久继位,是为唐太宗。杜淹被召回朝中,授为御史大夫,封安吉郡公,食实封四百户。唐太宗知道杜淹熟知历代典制,让他主持东宫仪式簿领的裁订工作。
贞观元年(627年),杜淹被任命为吏部尚书,参议朝政,成为宰相。他前后举荐四十余人,最终都成为知名官员。当时,杜淹身兼二职,却无清廉之誉,又和勋臣长孙无忌不和,因此受到舆论的非议。
贞观二年(628年),杜淹患病,唐太宗亲自前去探望,并赏赐绢帛三百匹。
同年十月,杜淹病逝,追赠尚书右仆射,谥号为襄。