先前唐太宗已经同意把衡山公主许配给魏征长子魏叔玉，这时也后悔了，下旨解除婚约。到后来他越想越恼火，竟然亲自砸掉了魏征的墓碑——魏征是馆陶（今属河北）人，从小丧失父母，家境贫寒，但喜爱读书，曾出家当过道士。隋大业末年，魏征被隋武阳郡（治所在今河北大名东北）丞元宝藏任为书记。元宝藏举郡归降李后，他又被李密任为元帅府文学参军，专掌文书卷宗。
唐高祖武德元年（618），李密失败后，魏征随其入关降唐，但很长时间没有得到重用。第二年，魏征请求去河北劝降，被批准。于是他来到黎阳（今河南浚县），劝李密的黎阳守将徐世绩归降唐朝。不久，窦建德攻占黎阳，魏征被俘。窦建德失败后，魏征又回到长安，被太子李建成引用为东宫僚属。玄武门之变以后，李世民由于早就器重他的胆识才能，非但没有怪罪于他，而且还把他任为谏官之职，并经常引入内廷，询问政事得失。魏征喜逢知己之主，竭诚辅佐，知无不言，言无不尽。加之性格耿直，往往据理抗争，从不委曲求全。有时候，唐太宗听得不是滋味，沉下了脸，魏征还是照样说下去，叫唐太宗下不了台阶。但是唐太宗不但不记魏征的恨，反而夸奖魏征说：“人家都说魏征举止粗鲁，我看这正是他妩媚可爱的地方！”在魏征为官期间，他为唐朝贞观年间的繁荣作出了很大贡献。贞观七年，魏征被封为郑国公。
公元643年，魏征病死。唐太宗很难过，亲自去他家吊唁，这在古代中国是至高无上的荣誉。
可是在魏征死后，一切都发生让人瞠目结舌的变化。魏征在死之前曾经向唐太宗秘密推荐当时的中书侍郎杜正伦和吏部尚书侯君集，说他们有当宰相才能。可是在魏征死后，杜正伦因为负罪被罢免，候君集因参与谋反而被斩首。李世民开始就怀疑魏征这位他认为很老实的人在朝廷有因私营党的嫌疑。
后来，唐太宗又得知消息：魏征曾把自己给皇帝提建议的书稿给当时记录历史的官员褚遂良观看。唐太宗怀疑魏征故意博取清正的名声，心里很不高兴。先前唐太宗已经同意把衡山公主许配给魏征长子魏叔玉，这时也后悔了，下旨解除婚约。到后来他越想越恼火，竟然亲自砸掉了魏征的墓碑，一段君臣佳话，竟以此为终，让人叹息。