五四运动后，早期共产主义者为在中国建立共产党开展了大量工作。从1920年8月以后，全国一些地方陆续建立了共产主义小组。
中国共产党第一次代表大会会址
共产主义小组首先是在上海建立的。1920年8月，在共产国际代表的帮助下，在上海成立了中国第一个共产主义小组，陈独秀为书记。上海共产主义小组成立后，担负着发起、筹备和组织中国共产党的任务。
1920年10月，北京共产主义小组成立，北京小组成为北方革命运动的核心。
1920年9、10月间，湖北共产主义小组成立。
1920年12月，山东共产主义小组成立。
1920年冬，湖南共产主义小组成立。
1921年1月，广东共产主义小组成立。
此外，在日本东京和法国巴黎的中国留学生和侨民中也建立了共产主义小组。曾经参与发起上海小组活动的施存统，赴日留学后，1920年冬同周佛海在东京建立了共产主义小组。1920年秋，北京小组的成员张申府赴法国巴黎，先后发展了刘清扬、周恩来、赵世炎等，于1921年春组成了巴黎共产主义小组。
各地共产主义小组成立后，为中国共产党的成立在思想上和组织上准备了条件。
各地共产主义小组成立后，迫切需要建立一个全国性的统一的党的组织来领导中国革命。在共产国际的帮助和各地共产主义小组的努力下，中国共产党第一次全国代表大会于1921年7月23日至31日在上海租界贝勒路树德里（即望志路一○八号）举行（大会在最后一天移至浙江嘉兴南湖举行）。出席大会的代表是：上海小组的李达、李汉俊，北京小组的张国焘、刘仁静，湖南小组的毛泽东、何叔衡，湖北小组的董必武、陈潭秋；山东小组的王烬美、邓恩铭；广东小组的陈公博；东京小组的周佛海。此外，陈独秀还指定包惠僧参加了大会。他们代表全国50多名党员。共产国际的代表马林和赤色职工国际的代表厄科尔斯基也出席了大会。大会由张国焘任主席。其议程是：听取各地共产主义小组的活动情况报告，起草并讨论党纲和工作计划，选举党的中央领导机构。大会的中心任务是讨论成立中国共产党。
大会首先听取了共产国际代表的报告和各地共产主义小组工作的汇报。然后，选出了一个起草党纲和工作计划的委员会。经过讨论，通过了《中国共产党的第一个纲领》。纲领把党的名称定为中国共产党，规定党的奋斗目标是以无产阶级革命军队推翻资产阶级，建立无产阶级专政，废除私有制，直至消灭阶级差别。党纲还对党的各级领导机构的组成形式、职权和相互关系作了规定，并确定了党的组织原则是民主集中制。
大会通过的《关于当前实际工作的决议》确定：党在当前的中心任务是组织工人阶级，加强党对工人运动的领导，推动工人运动的发展。还对一些具体工作作了部署。
最后，大会选举陈独秀（任中央书记）、张国焘（任组织委员）、李达（任宣传委员），三人组成党的中央领导机构——中央局。
党的第一次全国代表大会具有伟大的历史意义。她正式宣告了伟大的中国共产党的诞生，这是我国近代历史上开天辟地的大事，它标志着中国无产阶级认识到自己所肩负的伟大历史使命，它给灾难深重的中国人民带来了光明和希望，中国工人阶级从此有了自己的司令部——一个用马列主义武装起来的、以列宁的建党原则为指导的、以布尔什维克党为榜样建立起来的统一的无产阶级政党，使中国革命事业有了胜利的可靠保障。“自从有了中国共产党，中国革命的面目就焕然一新了。”从此，中国人民不仅可以胜利地进行反帝反封建的斗争，而且使中国人民争取社会主义革命和建设的光明前程有了胜利保障。