晋愍帝在被俘前留下诏书，要镇守建康（今江苏南京市）的琅玡王司马睿继承皇位。司马睿在西晋皇族中，地位和名望并不高。晋怀帝时期，他被派去镇守江南。他带去一批北方的士族官员，其中最有名望的就是王导。司马睿对王导言听计从，把他看做心腹。司马睿刚到建康的时候，江南的一些大士族地主嫌他地位低，不怎么看得起他，也不来拜见。为此，司马睿心里不踏实，要王导想个办法。王导的堂兄王敦当时在扬州做刺史，颇有势力。于是王导把王敦请到建康，两人商量出一个主意来。
这年三月初三，按照当地的风俗，百姓和官员都要到江边去求福消灾。这天，王导让司马睿坐上华丽的轿子到江边去，前面有仪仗队鸣锣开道，王导、王敦和从北方来的大官、名士，一个个骑着高头大马跟在后面，排成一支十分威武的队伍。当天，在建康江边看热闹的人很多，大家看到这种从来没见过的大排场都轰动了。江南有名的士族地主顾荣、贺循等听到这个消息，从门缝里偷偷张望。他们一看王导、王敦这些有声望的人对司马睿这样尊敬，大吃一惊，生怕自己怠慢了司马睿，一个接一个地出来排在路旁拜见司马睿。这样一来，司马睿在江南士族地主中的威望得以提高。王导接着劝司马睿说：“顾荣、贺循是这一带的名士。只要把这两人拉过来，就不怕别人不跟着我们走。”司马睿派王导上门请顾荣、贺循出来做官，两个人都高兴地来拜见司马睿。司马睿亲切地召见了他们，封他们做官。此后，江南大族纷纷拥护司马睿，司马睿由此在建康站稳脚跟。司马睿刚来时，常常因为喝酒误事，王导对此进行劝说，司马睿就命令人斟上酒，他接过酒杯后把酒倒掉，从此便戒了酒。
北方发生大乱后，北方的士族地主纷纷逃到江南避难。王导又劝说司马睿把他们中有名望的人都吸收到王府来。司马睿听从王导的意见，前后吸收了一百零六个人在王府里做官。司马睿听从王导的安排，拉拢江南的士族，又吸收了北方的人才，巩固了地位，心里十分感激王导。
当初，谯国人桓彝避乱渡过长江，看见司马睿势单力薄又没有威望，便对周说：“我因为中州地区多变故，来到这儿求安，结果这里如此势单力薄，将靠什么来成就大业？”不久之后，桓彝见到王导，与他一起议论天下大事。结束谈话之后，桓彝又找到周，对他说：“刚才我好像看到了管仲，现在我已经不再忧虑成就不了大事了。”
公元317年，司马睿在建康即位，重建晋朝，是为晋元帝。在这以后，晋朝的国都在建康。为了和司马炎建立的晋朝（西晋）相区别，历史上把这个朝代称为东晋。
司马睿从东渡到登基，主要依赖北方大族王导、王敦兄弟的大力支持。在此期间，王导位高权重，联合南北士族，运筹帷幄，纵横捭阖，王敦则总掌兵权，专任征伐，后来又坐镇荆州，控制建康。王氏兄弟权倾朝野，司马睿不过徒有虚名而已。登基大典当天，皇帝司马睿突然拉住大臣王导同升御床，一同接受群臣的朝贺，表示愿与王氏共享天下。但天无二日，王导吓了一跳，连忙推辞说：“太阳岂能与万物同辉，君臣名分是有区别的。”晋元帝才没有勉强他。
王敦恃权而傲，晋元帝想要削减他的势力，暗中命心腹做好军事部署，名义上是北伐，其实是对付王敦。王导因此被疏远，但是他始终能保持常态，不作计较。王敦趁机以替王导诉冤为借口，于公元322年自武昌举兵，攻入建康，史称“王敦之乱”。王导认为佞臣扰乱朝纲，同意王敦率兵前来“清君侧”，但是王敦想篡夺政权，王导出面维护帝室。因为王导的反对，王敦没能实现他的野心，只好退回武昌。
公元323年，晋元帝病死，晋明帝继位，王导辅政。王敦以为有机可乘，又加紧图谋篡夺，王导再一次站在了对立面。这时，王敦身染重病，不能亲自带兵，就将兵权交给了自己的兄长王含。王导致信王含说：“你今天的举动，和当年王敦的所作所为很相似，但是两者形势完全不同：当年朝廷有佞臣扰乱朝纲，就是我自己也想离开以求自保；但是现在，先帝虽然去世，还有遗爱在民，当今圣主聪明，并无失德之处。如果这时反叛朝廷，定会引起公愤。”王导表示“宁为忠臣而死，不为无赖而生”，并部署兵力抵抗叛军。
王导听说王敦病重，就率子弟为王敦发丧，将士们以为王敦真的死了，士气大振。于是王导派遣将领趁夜渡江发起偷袭，打王含个措手不及。王敦知道王含溃败之后，大怒不已，不久便病重而死。
公元325年，晋明帝病死，幼主晋成帝继位，王导与外戚庾亮同为辅政大臣。庾亮不顾王导的劝阻，执意征召苏峻入京，于是爆发了“苏峻之乱”。苏峻入京后，专擅朝政，因为忌惮王导的威望而不敢加害。后来，王导联手陶侃和温峤除掉苏峻，再一次稳定了局面。
历经三朝，王导的威望十分高，晋成帝给王导的手诏总是用“惶恐言”、“顿首言”、“敬白”之类的语言，他还亲自驾临王导的府邸，礼敬王导的妻子。王导每次上朝，晋成帝都要起立相迎。王氏子弟遍布朝中，当时有“王与马，共天下”之称。