一提起魏征，很多人想到更多的是他敢于触龙颜的勇气，是他忠言直谏的坦诚，是他关心民生的责任。魏征确实是中国古代历史上少有的硬骨头。众所周知，在封建社会，皇帝拥有至高无上的权力，俗话说“伴君如伴虎”，像魏征这样敢于在皇帝面前直陈他的错误，而又不惹怒皇帝的人很少。史学家一方面在赞叹像唐太宗这样的皇帝从谏如流的同时，一方面也给予魏征更多的笔墨。写到这里，想起一段非常经典的话，可以是对唐太宗和魏征君臣两人关系的生动概括。魏征逝世后，唐太宗曾在魏征像前说：“用铜作镜子，可以正衣冠；用历史作镜子，可以知兴衰；用人作镜子，可以了解得失。今天魏征去世了，我失去了一面镜子啊！”唐太宗把魏征看作是了解自己得失的一面镜子，这既是对他们君臣关系的生动概括，也是对魏征一生忠言直谏的公正评价。
少有大志投笔从戎
魏征，字玄成，生于北周静帝大象二年（580年），巨鹿下曲阳（今河北晋州市）人，后来迁居到相州内黄（今河南内黄县）。魏征出身于书香门第，他的先祖魏无知在汉初的时候曾被封为高良侯，他的父亲魏长贤曾任北齐著作郎，为人正直，博学多才，但在那个昏君当道的年代，这样的人常为当权者不容。在魏征很小的时候，他的父亲就去世了。因为父亲的早逝，所以魏征自小的家境并不是很好。但他从小就聪颖好学、爱憎分明、少有大志，希望以后能做出一番轰轰烈烈的大事业。
隋朝末年，天下大乱，农民起义军的革命风暴一举推翻了无道昏庸的隋炀帝。此时的魏征在这乱世中也拿不定主意，不知该何去何从，于是就出家当了道士。其实，这未尝不是一个静观其变的好办法。道观中，是个相对安静的地方，可以看清天下的形势再作计划。果然不久，魏征的朋友元宝藏，请他出山，一起参加反隋的义军。
元宝藏是隋朝武阳郡的郡丞，看到天下大乱，也就起兵反隋，组建起自己的一支义军。元宝藏让魏征在军中担任了典书记一职，让他负责掌管军中的文书。当时天下反隋的义军很多，如在北方有李密领导的一支最大的农民起义军——瓦岗军。李密出身于大贵族家庭，他的父亲李宽是一代名将，因功勋卓著曾被封为柱国公。李密平日最爱读《史记》、《汉书》等，性格豪爽，喜爱结交天下的贤士。隋末昏君当道，他因不满隋朝的统治而参加了反隋的斗争。
炀帝大业十三年（617年），李密率领瓦岗军大破兴洛（今河南巩县）粮仓，救济灾民。军队迅速发展，一时间威震中原。元宝藏见李密领导的义军声威浩大，就主动写信给李密，想加强彼此的关系。当李密看到元宝藏写来的信件时，连声称赞，认为写此信的人绝对不是等闲之辈，于是派人打听得知，是元宝藏的典书记魏征写来的。于是他就把魏征请来，让他来掌管军中的文书。
魏征成了李密的部下后，向李密献过十条计策。但是当时瓦岗军在李密的领导下，正所向披靡地向前发展，所谓风头正健，哪里听得进魏征的建议。瓦岗军继续前进，相继又攻下了洛口仓、回洛仓和黎阳仓（在今河南浚县西南）。义军所到之处，都会给当地的百姓发放粮食，天下的百姓无不拍手称快，欢迎义军的到来。由于有了人民的支持，李密带领的瓦岗军继续向前挺进。公元618年，李密带领的瓦岗军来到了洛阳城外，将洛阳城团团包围起来。当时洛阳城中的守城将领是隋朝大将王世充。王世充看到李密带领的军队来势汹汹，连忙加强城防、调兵遣将，决定和对方决一死战。在双方决战之前，李密召集各位高级将领开会，研究下一步的对策。
当时魏征只是一名掌管文书的小官，人微言轻，根本没有资格参加会议。但他通过对当时局势和敌我双方情况的分析得出结论，这次进攻洛阳城的战役非常重要，它的成败直接关系到瓦岗军的前途命运。于是他找到了李密的长史说：“李密虽然在前几次大的战役中都获胜了，但人员伤亡很大，且钱粮也不是很充足。从这两个方面看，我们都不能和王世充硬碰硬。现在最好的对策就是和他打持久战，这样，对方粮食没了，就会守不下去城了，那时城中必定大乱，这样王世充就会撤兵，我们再从后面乘胜追击，必定会取得胜利。”魏征分析得头头是道，但对方看到魏征在军中没有什么地位，哪里把他这样的小官的话放在心上。讥笑他道：“你这不过是老生常谈罢了。”魏征见自己的意见不被采纳，掉头就走了。
类似魏征这样的建议，李密部下的一个将领裴仁基在讨论会上也提出了。他主张乘王世充出兵东下，洛阳空虚的时候，在兵分两路拦截王世充东进的同时，派骑兵进攻洛阳，迫使王世充回兵支援，这样使他首尾难顾，必然能大获全胜。但是李密很多其他的部下，如单雄信等，轻敌麻痹，要求速战。李密同意了他们的速战要求，亲率大军驻扎在偃师城北，列营却不设垒，准备快速结束战斗。结果正如魏征所料的那样，在王世充的火攻与偷袭下，瓦岗军全军溃败。
瓦岗军失败后，在将士溃散、振兴无望的情况下，李密迫不得已率残余队伍去长安投奔了李渊。魏征跟李密一同前往。李渊是隋朝的太原留守，当时天下大乱，谁不想在乱世中分得一杯羹呢？于是在他儿子李世民的帮助下，在太原起兵，不久就占领了长安，改国号为唐。
魏征跟随李密投靠李渊后，也就成了李渊的部下。但是不久，李密因不受重视，借出外执行任务的机会又打出了反唐的旗号，结果被唐剿灭。可想而知，魏征曾经是李密的旧部下，在这种情势下，他的处境就更是恶劣了。为了改变这种现状，更是为了取得李渊的信任，魏征自告奋勇，愿出使太行山以东地区，收降当时据守在黎阳（今河南浚县东北）的实力较大的瓦岗军的残余部队。李渊为了更快地统一全国，当然对魏征的这个提议非常赞同，于是就任命魏征为秘书丞（管理国家档案图书的官），去完成这个任务。当时驻守在黎阳的是徐世勋，他和魏征都曾是李密的部下，所以两人当然是老相识了。
当魏征到了黎阳之后，就给徐世勋写了一封信，信上说：
“自隋末天下大乱以来，群雄逐鹿中原，一时间有势力的队伍数不胜数。想当初，李密率瓦岗军起兵反对隋朝的时候，号令一出，天下云集响应，很短的时间内几乎控制了隋朝的半个天下。结果后来，被王世充战败，元气大伤，只好投靠了李渊。现在瓦岗军的主力已经不复存在，您可以倚靠的根基都不存在了，当务之急，您不该看清形势，重新选择吗？再说现在李渊占据关中宝地，历来此地都是兵家取胜之地，如汉高祖刘邦等，再加上李渊的部队兵强马壮，得天下只是早晚的事了。再来说说您的处境，您现在所占据的黎阳，是取天下者必争之地，您现在应早些认清形势，作出打算，如若不这样，您将会后悔莫及啊。”徐世勋看了魏征的信，觉得很有道理，又听说李密已经被杀，就决定率部投降李渊。就这样，魏征没费一兵一卒圆满地完成了此次出行的任务。
接着不久魏征又去魏州劝说自己的老朋友元宝藏，劝他一起也归顺了李渊。
武德二年（619年）十月，正当魏征在黎阳为李渊奔走游说的时候，河北的农民起义军首领窦建德领兵南下，攻占了黎阳，当时魏征还在黎阳，没来得及离开，于是成了窦建德的俘虏。窦建德是个在农民起义军中逐渐成长起来的农民领袖。起义后，因为英勇善战，而且在战争中能和士兵同甘共苦，所以得到了起义将士的一致拥护，势力逐渐壮大。并在乐寿（今河北献县）自称长乐王，建立了帝制，国号是“夏”。魏征被俘后，窦建德早已听说过魏征的盛名，就任命他为自己夏国的起居舍人（负责记录皇帝言行的官）。武德三年（620年）七月，窦建德和李世民在虎牢关展开了一场恶战。但是窦建德骄傲自大，根本不听取部下正确的意见，与李世民军队在虎牢关采取正面决战的行动，以十万之众对抗李世民的数千骑兵，结果被李世民的骑兵击溃，窦建德本人也被俘获。魏征乘乱又逃回了关中，回到了长安。
回顾魏征从隋末加入朋友元宝藏的义军到后来投奔李密的瓦岗军，后又在窦建德的河北起义军呆了一年多的时间，魏征前后共度过了大约四年的军旅生涯。尤其是后两次在农民起义军中的两年多的活动中，使他对下层民众的要求、疾苦和社会状况都有了更深刻的了解。
这段时间虽然不是很长，但对他今后一生的政治思想的形成，都产生了重要的影响。
四易其主择木而栖
魏征回到长安后，因为又当了一段农民起义军窦建德的部下，所以当然就更不受重视了。这时李渊的太子李建成看中了魏征的才学，把他招为自己的幕僚，封了他个太子洗马的职位。这是太子东宫主管经籍图书的一个小官，没有什么实权可言。但是太子是未来皇位的继承人，一旦即位称帝，那东宫的官吏们就都可以沾上光了。
所以魏征对李建成的知遇之恩还是非常感激的。因为是在自己最不得意的时候受到了太子的提拔，认为这次是找到了赏识自己的明主，决心一定要为太子尽忠尽力。
这时宫中为争夺皇位，太子李建成和弟弟李世民之间的斗争已经日趋公开化。魏征很为太子李建成的地位担忧。因为李建成虽然是李渊的长子，是名正言顺的皇位继承人，但多年深居宫中，帮助其父李渊料理宫中的事务，在反隋的斗争中，从来没有带兵打过仗。而他的弟弟李世民则不同，可谓是马上的将军，从李渊在太原起兵反隋的那一天开始，就率军东征西讨，立下了赫赫战功，在朝中的大臣和将士中享有极高的声望。两者相比，虽然李建成贵为太子，但在朝中的实际地位并不稳固，根本的原因就是李建成没有军功。于是，在这种情势下，魏征就给李建成出了巩固地位的一个主意。因为当时正好窦建德的旧部刘黑闼，又在河北一带收复了窦建德的一些散兵游勇，打起了反唐的旗帜。魏征认为，这正是太子李建成借此立功提高自己威望的大好时机。
于是，他向李建成建议说：“现在您的弟弟李世民的军功最大，在朝中的威望也最高。而您长年在宫中协助您的父亲处理政事，没有李世民那样显赫的战功，若是您日后称帝，恐怕难以服众。现在窦建德的旧部刘黑闼又纠集了一些残兵败将起兵反唐，他的人数不到一万，且粮草又不充足。虽然他现在收复了窦建德之前占领的一些旧地，但是不堪一击。这是一次非常好的机会，您应该向您的父王请战，去打这一仗，千万不要错过这个好机会啊！”李建成接受了魏征的建议，向父亲李渊请战，得到准许后，亲自带兵去攻打刘黑闼。在战斗过程中，李建成又接受了魏征的攻心战术，宣布只惩治首犯，别的人只要投降，一律不再追究。刘黑闼的部队本来就是一个杂牌军，听到这样的话，军心涣散，哪还有什么战斗力。很快，刘黑闼的部队很快就瓦解了。随后，李建成又听从魏征的建议，在河北一带安插了自己的亲信，收买了当地的豪强，使他们成为自己日后争权的外援。
至此，魏征的建议取得了圆满的成果。
不久，皇位争权的斗争日趋白热化。三皇子李元吉公开支持太子李建成，两人结成了统一战线，共同对抗李世民。他们彼此之间的矛盾越来越激烈。此时的形势正好比是箭在弦上，一触即发。魏征也感觉到了太子李建成处境的危险。他多次劝说李建成先下手除掉李世民，这样可保证自己的皇权稳固。但是李建成生性优柔寡断，又碍于兄弟情面，始终没有付诸行动。
高祖武德九年（626年）六月四日，李世民先下手为强，发动了玄武门之变，杀死了太子李建成和支持他的弟弟齐王李元吉，取得了太子的地位。这次宫廷政变对魏征无疑是一次沉重的打击。
李世民久闻魏征的大名，知道他经常给李建成出谋划策，而自己也差点被他暗算，于是马上召见他，质问他：
“你挑拨离间我们兄弟之间的关系，你可知罪？”在这样的危急关头，答错一句话都有可能招来杀身之祸。但已把生死置之度外的魏征面无惧色，坦然地回答道：“如果当初太子李建成听了我的话，又怎么能有今天这样的下场呢？人都是各为其主，我既然忠于我的主人李建成，请问，这有什么过错吗？春秋战国时期的管仲不是还曾射中小白（齐桓公）的带钩吗？”魏征回答得不卑不亢，句句有理，义正词严，反倒使李世民无法反驳。李世民平素就很钦佩魏征的才华，现在见他如此率直，引用了管仲辅佐齐桓公称霸的典故，于是马上转变了态度，非但没有处置他，反而任命他为管事主簿（掌管太子文书的官吏）。即位之后，又立即提升魏征为谏议大夫，专门负责给皇帝提意见。这样，魏征又踏上了跟随李世民的政治道路。