唐朝建立后不久，唐高祖李渊的两个儿子李建成和李世民为争夺皇位继承权展开了激烈的斗争。魏徵原是李建成的主要谋士，曾献策除掉手握兵权的李世民。李世民获悉后发动了“玄武门之变”，消灭了李建成的势力，魏徵作为李建成的余党被抓获。按当时的惯例，应当把他处死并株连九族。
但李世民并没有这样做。在审问魏徵的时候，太宗问他：“你为何要为李建成出谋划策，与我作对？”魏徵毫无惧色，答道：“人各为其主，可惜太子不听我的劝，否则今天的胜负尚未可知！”李世民见他机警刚直，是个难得的人才，便不计前仇，不仅没有治他的罪，反而任命他为谏议大夫。而魏徵也没有因为感谢不杀之恩而对太宗阿谀奉承，只是一心一意辅佐太宗治理朝政，并尽心尽力直言进谏，经常对太宗提出意见和批评，许多意见尖锐激烈，有时甚至把太宗弄得面红耳赤，在众大臣面前下不来台。太宗虽然有时很生气，但他完全明白魏徵的批评是出于一片忠心，为了维护江山社稷的长治久安。因此太宗十分器重魏徵，并在一次酒宴上公开表扬魏徵：“贞观以来，尽心于主，安国利人，犯颜正谏，匡朕之违，唯见魏徵一人。古之名臣，何以如此。”并随即解下佩刀赐予魏徵。