此前，琅邪王司马睿因在“八王之乱”中“恭俭退让”，得以与司马越保持较好的关系。居京都洛阳时，也与王衍族弟王导“素相亲善”。王导便常劝司马睿回到自己的琅邪国，并为其治理琅邪国出谋划策。由于当时中原战乱，晋朝王室垂危，王导便想借司马睿兴复王室，对司马睿“倾心推奉”。司马睿也同样对王导“雅相器重，契同友执。”晋永兴元年（304年），司马越收兵下邳（今江苏邳县南）。封司马睿为平东将军，监徐州诸军事，镇守下邳。司马睿即请王导为安东司马，“军谋密策，知无不为”。晋永嘉元年（307年）一月，晋怀帝继惠帝即位，司马越以太傅身份辅政，进一步感到中原难以维持而意迁南方。七月，司马越让司马睿以安东将军身份都督扬州、江南诸军事，渡江移镇建邺，为司马氏退守江南奠定了基础。
由于司马睿才能平庸，在司马氏宗室中名望不高，初到建邺时，江南世家大族对他都较为冷淡，一个多月过去，还没有一位有名望的士族前去拜见。王导很担心，便与从兄王敦商量：“琅邪王仁德虽厚，但名望尚轻，兄长威风已振，应帮助他复兴晋室。”王敦也表示支持。于是，在三月三日当地人们的修禊日，王导请司马睿乘坐华丽的轿子，排出威严的仪仗队列，由王导、王敦和一批北方名士骑马跟从。南方士族顾荣等在门隙中窥看，大为惊讶，赶快相继到路旁拜见。王导接着向司马睿献计说；“古代的帝王，无不宾礼故老，存问风俗，虚己倾心，招揽俊杰。况且当今天下大乱，九州分裂，我们大业初创，急于用人。顾荣、贺循是南方士族的首领，招他们来任职，以收揽人心。其他的士人自然就会前来。”司马睿便让王导亲自登门去招顾、贺。顾循、贺循曾在洛阳晋朝做过官，中原大乱后回江南。顾荣还认为“中国丧乱，胡夷内侮，观太傅司马越今日不能复振华夏”，只有江南如孙权之类的人物才可能独立称雄。这时见司马睿前来招抚，便欣然而至。顾荣出任军司马后，还向司马睿推荐了不少名士，以致出现了吴越国人心所向的局面。
当时，南北士族间的隔阂仍然很深。王导为联络南方士族，常常学说吴语。北方士族骄傲自大，他们讽刺王导没什么特长，只会说说吴语。王导向南方士族陆玩求婚。陆玩推辞说，小山上长不了大树，香草臭草不能放在一起，我不能开乱伦之先。义兴郡今（江苏宣兴）强族周玘因被北士轻侮，准备起兵杀北方士族，败兵后忧愤而死，并嘱咐儿子周勰要报仇雪恨。周勰纠集了一些怨恨北方士族的豪强束谋攻王导、刁协等人。事败后，王导并不追究。为争取南北士族间的平衡，王导采取了十分忍让的态度。
王导除了争取南方世族支持司马睿中兴晋室之外，还鼓励北方南下的大族坚定信心，合力协助司马睿定安南方。北方战乱以来，避乱南渡的北方世族很多。琅邪国随司马睿一起南渡的就有近千户，中原士族南下的也有十分之六七。王导建议司马睿要同时安抚好南、北两方的士族们，以获得他们的支持。司马睿听取了王导的意见，选用了一百多北方名士担任官职，如汝南人周、渤海人刁协、颍川人庾亮等。王导还制定了侨寄法，在南方士族势力较弱的地区设立侨州、侨郡、侨县，安置北方而来的士族与民众。这种侨州郡县大都在丹阳、晋陵、广陵等郡境内，形势上可护卫建康，又可使北方流亡士族仍在寄居地管辖逃来的民众，使流民得以安置。
北方官僚士族初到南方时，对司马睿振兴晋室表示怀疑。谯国（今安徽亳县）人桓彝，原为西晋骑都尉，初来时见司马睿势单力薄，对周说：“因为中原战乱，我才来到这里避难。不料如此不济，看来前途不佳。”以致忧心忡忡，和王导谈话后，知道他有些办法，才安心任职。一次，名士们到江边的“新亭游宴，周目睹了长江美景之后，叹息说：“风景没有变，只是黄河边成了长江边！”在座的北方人士都哭了起来。王导也在座，他正色道：“大家应当共同努力辅佐王室，克复神州，何至于像楚囚一样那样对泣呢！”名士们听了都停哭认错。心里逐渐踏实下来。于是，人们就把王导称为管仲式的人物，心里逐渐踏实下来。
由于王导、王敦等的辅佐，司马睿在南北世家大族中的威望剧增。西晋之前，司马睿虽名为琅邪王，但已控制了长江流域的荆、扬二州，成为司马氏中惟一强盛的诸候王。西晋亡后，司马睿政权中的官僚纷纷上书拥立司马睿为皇帝，在北方忠于晋室的汉族官僚刘琨，及乌丸、鲜卑族贵族一百八十人也上书劝解。晋大兴元年（318年），司马睿称帝。登基之日，司马睿登上御床，并叫王导与他一起就坐，共受百官朝拜。王导再三推辞，司马睿才独自坐到皇帝座上。
新建的东晋王朝，是在王氏家族的一手扶持，和在南北世族大家的支持下建立起来的。王导身历元、明、成三帝，辅政执权，推行政务求清的政策，相对保证了东晋的稳定发展。
扶植东晋的王导
王导，字茂弘，光禄大夫王览之孙。父亲名王裁，官至镇军司马。王导年幼时就有风度，有远见。十四岁时，陈留县名士张公见到他十分吃惊，对他的堂兄王敦说：“看这位少年的相貌心志，是做将相的人才。”最初王导承袭祖上的爵位即丘子。不久司空刘寔引荐他做东阁祭酒，升秘书郎、太子舍人、尚书郎，他均未赴任。而后做了东海王司马越的参军事。
当时晋元帝还是琅玡王，他与王导一向亲密友善。王导看到天下已经大乱，便全力拥戴（琅琊王），暗自立下复兴（晋室）的心志。晋元帝对他也十分器重，志趣相投如挚友，元帝在洛阳时，王导时常劝他到自己的封国去。及至元帝出镇下邳，请王导做安东司马，凡军国大计，他都积极筹划。元帝出镇建康后，吴人并不依附，时过一个多月，仍没有士人百姓前去拜望，王导为此深感忧虑。待王敦来朝见，王导对他说：“琅玡王仁德虽厚，但名望还轻。你在此早已声名大振，应该设法匡济时局。”三月上已节，元帝亲自前去观看修禊仪式，一路乘坐肩舆，威仪齐备。王敦、王导以及众名臣骁将也都骑马扈行。吴人纪瞻，顾荣都是江南一带名望极高的人，他们私下前去观望，看到这种场面，都十分吃惊，于是相继在路旁迎拜。王导因此又献计说：“古代凡是能够称王天下的，没有不礼贤遗老先贤，存问风俗，虚心坦诚，以便招揽天下俊杰。更何况现在天下大乱，九州分裂，我们立国的大业尚在初创，当务之急在于取得民心呢。顾荣、贺循二位是当地名门之首，不如将他们吸引过来以便广收人心。他们二位一来，其他人便没有不来的了。”元帝遂派王导亲自登门拜请贺循、顾荣，他们两人也就应命前去朝见元帝，吴地受其影响，民心归附。从此之后，各地相继尊奉元帝，开始有了君王与臣子的礼数。
王导像不久洛阳陷落，中原一带十之六七的士人和妇女逃避战乱迁到江南，王导劝元帝招揽其中的贤人君子，同他们共图大业。其时荆州、扬州一带社会安定，人丁兴旺。王导为政力求清静无为，时常规劝元帝克制一己私欲，励行节俭，匡正君主以使国家安定。由此更为元帝倚重，君臣之间也日见亲密，朝野上下众望所归，尊他为“仲父”。元帝曾缓缓地对王导说：“你就是我的萧何。”王导答道：“昔日秦政无道，百姓愤而反叛，豪门奸宄欺凌百姓，暴虐无道，人心盼望汉的德政，革命反正便容易成功。自曹魏至太康，公卿士族，竞相攀比侈奢豪华，政务教化衰颓，法度无人遵守，众公卿士族皆苟且偷安，于是奸猾之徒乘隙而起，使至道有所亏损。然而否极泰来，是天道常理。大王正在建立命世勋业，要一统天下，管仲、乐毅因此而存在，这哪里是我这小小国臣所能比拟的呢！希望大王从长远计，广择良能。顾荣、贺循、纪赡、周玘都是南方俊杰，希望能给他们充分的优崇和礼遇，若如此便会天下安定了。”元帝采纳了他的意见。
永嘉末年，（王导）升丹阳太守，加辅国将军。王导上奏道：“昔日魏武帝是执政至善的君主，荀文若是功臣之首，但（魏武帝）对他也只是封了一个亭侯而已。仓舒是最得宠的爱子，对他也只是赠了一个别部司马。以此推究其他一切，还不该慎重吗？如今只要做了一郡之长，不论贤能愚钝，不问豪贵低贱，一律加封重号，恩赐鼓盖，他人也竞相比附。偶或有得不到封赏的，便以为是耻辱。致官吏中鱼龙混杂，朝廷威望衰微败坏。我徒负重任，不能填山淘海、疏导乱源，只是尸位素餐，紊乱法规。现谨将鼓盖等加赏之物奉还。愿自此从我开始，或能使雅俗有别，众望不致迷乱。”元帝下令称：“王导德行高尚，功勋崇厚，深为我所倚重，理应以殊礼表彰。但他反而检点自己，淡泊心志，更思竭尽忠诚，以身率众。应当顺应他的雅志，给他拓开壅塞的机会。”拜王导为宁远将军，不久加振威将军。愍帝即位，召王导为吏部郎，为王导所辞。
晋国建立后，以王导为丞相军咨祭酒。桓彝刚过江时，看到朝廷微弱，对周说：“我因中原多难，才来到这里求生存，现在这里如此势单力薄，拿什么来扶危济难呢！”于是忧虑、疑惧，闷闷不乐。后来去见王导，两人畅谈时局国事，回来后对周说：“刚才见到管夷吾，我不再担忧了。”由北方渡江而来的士人，一遇闲暇，常相约出门到新亭聚会宴饮。周居中而坐，叹道：“风景依旧，抬眼望去，江河已自不同。”在坐的人都相视垂泪。只有王导十分不悦，正颜说道：“我们应当同心同德为王室效力，以便早日克复中原，何至于如做楚囚般相对流泪呢！”众人于是收泪认错。不久王导官拜右将军、扬州刺史，监江南诸军事，升骠骑将军，加散骑常侍、都督中外诸军事、领中书监、尚书事、假节，仍任扬州刺史。王导因王敦统御六州，坚辞中外都督，后又因事除去假节。
其时战事不断，学校未建，王导为此上书陈说：
“风化的根本在于正人伦，人伦要正在于设学校。学校设立，就可做到五教分明，德礼遍通、伦常有序，人人有羞耻之心，且能自我约束。父子、兄弟、夫妇、长幼这些人伦关系和顺有序，君臣的名份就固定了，这就是《易经》所说‘治家使之端正有序，则天下安定’。所以圣明的君主对臣民都是启蒙时养正，年幼时教化，使之深入肌骨，习以成性，不知不觉便能做到近善远恶，等到已形成良好的举止和高尚的道德，再量才授官。既便是君主的子嗣，也与贵族之子无异，要使他先通晓义理，然后才使他显贵。大凡择取人才，任用士子，都要先根据学问。所以《周礼》记载说，卿大夫向周王进献贤能之书，周王行拜礼而后受纳，就是以此表示尊崇义理，敬重士人。人们明白了士人所以尊贵是因为天下存在义理，便可退而修养身心乃至治理家庭，家庭正然后治理乡俗，学于乡然后才能登朝，如此循环往复，人人各善其身，就会使敦朴之风大张，浮华虚伪之气日消，这就是教化的作用。以这样的人事国君，他会忠心不二；治理下民，他会以仁德为怀。这就是孟轲所说‘没有仁人会遗弃自己的父母，义士会怠慢自己的君主的。’
自从近来皇室衰微，听不到朝廷上乐颂之声至今已二十余年。《左传》说‘三年不举行礼仪，礼仪必定损毁，三年不奏乐，乐必定崩坏’，更何况已过了这样久的时间。前人忘掉了拱手相让的礼仪，后辈晚生也只听到过鸣金击鼓。日日操动干戈，祭祀之礼不行，这样离先王之道越来越远，侈华虚伪的习气于是滋生漫延，这可不能说是正本清源。殿下以命世才略，逢阳九机运，兴礼乐，举征伐，促成晋室中兴。实在应该整理古籍，倡导学术，以训导后生，让文王武王之道在失落后复兴，祭祀的仪典自幽冥中昭著。如今戎虏气焰嚣张，国耻未雪，忠臣义士为此痛心疾首。若礼仪稳固下来，谆朴之风渐次昭彰，那么就会使教化深入人心，德政广布天下。使帝王典章缺佚而后复补，皇朝纲纪松弛而后更张，使兽性者洗心革面，贪险者收敛行迹，并以揖让之礼使四夷臣服，以政令从容使天下归顺。只要合乎治道，做到这些还会困难吗！昔日有虞氏舞动干戚而使三苗归化，鲁僖公创设泮宫而令淮夷臣服。齐桓公、晋文公称霸天下都是先教化而后征伐。如今若遵从前典，兴复道德教化，选朝中子弟送入学校，取明达博学、优贤通礼之士做老师，使教化成而风俗定，便没有比这更好的了。”
元帝十分赞同，采纳了他的意见。
及至元帝登基，百官陪位，命王导到御床与元帝同坐。王导坚决不肯受命，再三推辞，说：“若太阳降至同万物一样，苍生靠什么来照耀呢？”元帝于是不再坚持。王导晋升为骠骑大将军、仪同三司。因讨伐华轶有功，封武冈侯。进位为侍中、司空、假节、录尚书，领中书监。其时太山太守徐龛谋反，元帝想选派一员能够镇抚河南的将领，王导举荐太子左卫率羊鉴。不久羊鉴战败抵罪。王导上疏道：“徐龛反叛，早当受诛，我提议征讨，推举羊鉴赴命。羊鉴愚昧软弱，致使大军倾覆，被朝廷处以极刑。赖圣恩广施天地，将其性命保全。而我身负重任，总领机要，三军战败，我也责无旁贷。我请求贬黜，以整肃朝纲。”元帝下诏不准。不久王导代贺循领太子太傅。当时晋室中兴草创，尚未设置史官，王导首倡设立，于是典籍大致完备。孝怀太子为胡人所害，要下葬时，有司奏请天子下葬举哀三日，群臣下葬哭悼一次即可。王导以为皇太子地位仅在天子之下，普天有情，因此也应行三朝举哀之仪。元帝听从。刘隗当权后，王导逐渐被元帝疏远，他遇事诚心推让，与刘隗分担政务，自甘淡泊。有识之士都称道他善处荣辱进退之境。
王敦举兵叛乱，刘隗劝元帝尽杀王姓族人，朝野人士都为此担心。王导率领王氏族人弟子二十余人，每日清晨赴朝廷待罪。元帝念王导一向忠诚有节操，特送还朝服，并召见他。王导跪下叩头谢道：“逆臣贼子哪朝没有？不料今天竟出我们王姓家族！”元帝赤足扶起他说：“茂弘，我正要任你出镇方面，你说的这是什么话呢？”下诏说：“王导大义灭亲，可以把我做安东将军时的节钺授他。”王敦得志后，加王导守尚书令。当年西都洛阳覆没，天下企盼早立君主，群臣及四方人士都劝元帝登基。当时王氏势力强盛，有专治天下之心，王敦惮惧元帝贤明，想更立他人为帝，王导坚持抗争才制止。及至这次事变，王敦对王导说：“不依我的主张，几乎导致王氏全族覆灭。”但是王导依然坚持正义，王敦无法令他改变。
自汉魏以来，赠赐谥号大多依据死者爵位，这样既使生前地位显赫、德高望重，但若没有封爵，死后也照例不能加赠谥号。王导为此上疏称：“武官有封爵必定有谥号，而卿校、常伯没有封爵便得不到谥号，这样实在有失制度的本意。”他的意见被采纳。从此公卿没有封爵也能得到谥号，正是依从了王导的建议。
当初，元帝偏爱琅玡王司马裒，有意废黜嫡子皇储，征询王导意见，王导回答：“立太子理当立嫡长子，况且司马绍又很贤能，不应改立他人。”元帝仍犹豫不决，王导日夜劝谏，太子地位终于稳定。