周起应当时担任中国左翼作家联盟（简称“左联”）党团（即党组）书记。胡乔木同他虽未谋面，却神交已久了。把他们联系起来的是胡乔木的同班同学王作民。
原来，王作民和周扬的爱人苏灵扬是好朋友，在松江女中同学，因一起带头搞抗日救亡运动而被开除。王作民考进浙江大学外文系。苏灵扬则到了上海，同周起应相识、相爱。杭州距上海不远，火车直达。王作民不时到上海去看望他俩。胡乔木的大妹胡穗新（后用名夏青），在上海真如暨南大学读书，思想也是左倾的。王作民到上海去，胡乔木每每请她带信给妹妹。按常规请人带信是不封口的。王作民向来钦佩胡乔木的文才，本不该看的这些信她都忍不住抽出来看。到周扬面前，还以此炫耀。周扬浏览之后，禁不住连连赞叹，说你这个同学有思想、有文才。王作民很是得意，在胡乔木面前，当然也少不了夸苏灵扬的这位能干的湖南丈夫。这回胡乔木到上海，周扬手下正需要人，他即邀胡乔木参加左联工作。
王翰既是老乡又是战友。1933年胡乔木从盐城逃到上海，就在他那里落脚。胡乔木这回到上海，自然又去找王翰。这时，胡乔木的妹妹胡文新，在苏州中学因宣传进步思想被开除，也到了上海，并参加社联（中国社会科学家联盟）工作。兄妹二人就在闸北江湾路的春晖草庐1号租了一间亭子间住下来。王翰当时是八个左翼文化团体之一的社联的常委，社联党团成员。他希望胡乔木参加社联的工作。
王翰向社联党团和常委会报告了胡乔木的情况，立即分配胡乔木担任社联沪东区干事，并参加编辑部工作。社联沪东区和编辑部都由王翰领导。胡乔木参加社联工作，成为王翰的得力助手，盟刊的主要撰稿人。
1935年2月至8月，社联的盟刊出了四五期，出一期换一个名字，叫过《路灯》，叫过《时代评论》。每期印刷2000份左右，一半内部分发，一半在马路报摊上寄卖，同时邮寄给国内各大图书馆。胡乔木每期都写文章。1935年5月发表的《评红军是不可消灭的》一文，影响较大。还有一篇文章介绍红四方面军的情况，被日本报纸转载。
胡乔木有时也参加社联的地下活动。方铭回忆：“乔木有时也和我们一起写标语。我们的方法很简单，一个人负责望风，一个人在前面负责贴空白纸，再有一个人用蘸满墨汁的海绵往上写口号。标语中有‘打倒国民党’、‘红军万岁’、‘打倒日本帝国主义’等。”
胡乔木从杭州到上海时，上海地下党正遭到一次大破坏。那是1935年2月19日夜里，国民党反动政府根据担任过中共上海中央局书记的叛徒李竹声、盛忠亮的告密，勾结英法租界工部局，进行全市性的大逮捕，破坏了中共上海中央局机关。中央局和文委（中共中央文化工作委员会的简称）等领导同志三十多人被捕，其中包括中央局宣传部长朱镜我，文委书记阳翰笙，成员田汉、杜国庠和社联党团成员许涤新等。党在左翼文化战线的上层领导损失惨重。文委五个成员中只有周扬、夏衍二人幸免。胡乔木就是在这种白色恐怖严重的情况下参加社联工作的，有一种前仆后继的精神。几个月来，胡乔木工作积极主动，富有成效，得到社联领导的一致好评。
王翰在盐城与胡乔木在同一个党组织中生活过，知道胡乔木1932年秋就已入党，只是后来到浙江大学读书，没有找到党的组织，失去了党的关系。但他还是以一个党员来要求自己，开展革命活动，团结进步学生。经过在上海这段时间的考察，王翰向社联党团提出，由他介绍胡乔木重新入党。社联党团成员陈处泰（道之）代表组织与胡乔木谈话。他们在外滩见面，沿着黄浦江边走边谈，好像是两个朋友在那里散步一般。谈话后，经社联党团讨论，于1935年5月批准胡乔木入党。
本来，在正常情况下，胡乔木1932年秋就已经入党，只要接上组织关系就行了。但社联党团负责同志王翰、陈处泰等考虑到胡乔木在盐城入党时的介绍人后来出了问题，恢复关系的手续比较麻烦，就采取重新入党的办法。
1935年6、7月，社联党团改组，胡乔木即为成员之一，并担任社联常委。这时，社联党团成员为：陈处泰（书记）、王翰、李凡夫、胡乔木。不久，社联编辑部和沪东区就由胡乔木负责领导了。
担任文总党团书记
20世纪30年代初上海左翼文化运动的组织领导比较复杂。党内有一个文委，全称是中共中央文化工作委员会，1929年10月在上海成立，由中共中央宣传部领导。文总，全称为中国左翼文化界总同盟，1930年下半年在上海成立，是中国共产党领导的革命文化团体的联合组织。通常说文总有八大联，即下属八个联盟，它们是：中国左翼作家联盟、中国社会科学家联盟（后称中国社会科学工作者联盟）、中国左翼戏剧家联盟、中国左翼新闻记者联盟（后称中国左翼报人联盟）、中国左翼教育工作者联盟（后称中国新兴教育者联盟）、中国左翼美术家联盟、中国左翼世界语联盟、中国妇女运动大同盟，另外还有音乐小组和电影小组。文总内有中国共产党的领导机构，称文总党团。
1935年2月19日中共上海地下党组织遭到大破坏之后，7月再次遭到大破坏。但文委成员周扬、夏衍和各左翼联盟仍然坚持斗争。1935年7月前后，重建起新的文委。成员为周扬、章汉夫、夏衍、钱亦石、吴敏（即杨放之）。周扬被推举任文委书记。文总党团也重新组织，由陈处泰任书记，何定华和王翰为成员。七八月间，胡乔木被调到文总担任宣传部长。
不久，文总又发生了两起事件：一起是何定华不告而别，另一起是陈处泰因受“刺汪（精卫）”案牵连而被捕。这样，又需要重组领导班子。
10月，剧联党团书记于伶在光华大学找到在那里挂名读书的胡乔木，约他去见周扬。周扬同胡乔木谈话，说明文总发生的变故，急需重组领导班子，要胡乔木担任文总书记，把左翼各联盟的工作抓起来。周扬还向胡乔木介绍了邓洁。这样，文总党团新班子建立起来，由胡乔木任书记，邓洁、王翰为委员。这是文总党团的最后一届班子，工作了将近半年。这时，钱俊瑞也从社联编辑部调来文总工作。在此之前，1935年9月，胡乔木按周扬的意见介绍钱入党。钱俊瑞后来担任在上海的全国各界救国会党团书记。
按胡乔木的想法，文总党团书记应该由王翰担任，一是王翰参加革命早、入党也早，二是对上海情况熟。但周扬用了胡乔木，他看重胡乔木的文化修养和才能。除了前面已经说过的王作民的介绍和读到胡乔木写给妹妹的信留下了好印象之外，胡乔木到上海不久曾给周扬写过一封信，谈对曹禺的看法，认为像这样的作家可以吸收到左联中来。周扬即写了一篇论曹禺的文章，给予较高的评价。从这件事，周扬觉得胡乔木有眼光。文总书记陈处泰被捕，周扬很自然地想到用胡乔木。
胡乔木担任文总党团书记期间，主要同社联、左联、教联、语联等发生关系。社联人数最多，同社研（全称是社会科学研究会）合并后，有二三百人。胡乔木同社联的关系最密切。波兰人柴门霍夫创造的世界语和发动的世界语运动是国际性的，语联和国际语联有通讯往来。胡乔木直接领导过语联，他能够阅读世界语的出版物。语联的主要领导成员叶籁士、胡绳等成为胡乔木毕生交往的朋友。胡乔木与其他左翼文化组织则没有什么接触，他回忆说：“1935年下半年，我参加文总的领导工作时，从来没有人和我谈过电影、戏剧、音乐、美术方面的工作。音乐、美术方面的左翼组织情况，不但我不知道，恐怕邓洁、王翰都不知道。”“肯定有过左翼的新闻记者联盟，但我参加文总工作时，没有接触，也没有人向我介绍过记联的关系。”
胡乔木担任文总党团书记后，在白色恐怖笼罩的上海，坚持开展工作和斗争，大有“在泥泞中打滚，在荆棘中潜行”的精神。
事实上，胡乔木也曾多次遇到危险。在上海的生活也是十分节俭，相当艰苦的。胡乔木后来回忆说：当时我们搞文总工作的，从早到晚都忙于接头、开会，衣食住行的条件很差。我也觉得奇怪，当时怎么没被敌人抓住。我那时只有二十四五岁，没有什么社会经验；吃饭和人力车夫坐在一起。早饭就是买个粢饭团，一路走，一路吃。照说有经验的侦探是很容易盯上我们的。
胡乔木在文总的工作是有成绩的。当时发表的一个文件上说：党团书记的被捕虽然“暂时减弱了正常的领导和密切的联系”，但是，“在各联，及参加群众斗争的群众积极拥护下，改组了新的常委会，接受了广大群众和全体同志的信赖。”“同盟所领导的各联，除少数较弱的冲破不了当前的困难，颇有每况愈下的趋势而外，其他大多数尚能独立活动，扩大了本身的组织，并且培养了提供到文总方面来，用以补充与整理各联的许多新干部。这种不倦的努力及其可观的成绩，是值得注意的。”
除了整理、扩大组织，领导各联继续开展独立活动之外，胡乔木这时做的一项主要工作是贯彻共产国际七大精神，为实行左翼文化运动方向的转变，领导制定文总和各联的新纲领。
在胡乔木主持文总工作后不久，1935年10月，文委和文总的领导同志从共产国际的英文杂志《国际通讯》（Inpreco）和在巴黎出版的中文报纸《救国报》读到1935年7、8月间召开的共产国际七大的全部文件，包括季米特洛夫的报告，其中最为重要的是关于改变策略，不再将中间力量看作危险敌人，建立广泛的反***统一战线和人民阵线等新的精神；还读到了中共驻共产国际代表团起草、以中国苏维埃中央政府、中国共产党中央委员会名义发表的、号召成立国防政府和抗日联军的《为抗日救国告全体同胞书》（通称《八一宣言》）。在失去与中央和上级领导联系的情况下，周扬、夏衍和胡乔木等文委、文总的领导人了解到共产国际和中共中央关于在新形势下改变策略的新精神，立即着手贯彻执行。第一个行动就是根据新精神制定新纲领（草案），发挥文总“大众的文化斗争的参谋本部”的作用。
1935年10月25日，文总的内部秘密刊物《文报》第11期出版。“编者言”明确指出这一期是“工作转向后的第一期”。这一期刊登了《中国左翼文化总同盟纲领草案》及《中国社会科学工作者联盟纲领草案》《中国新兴教育者联盟纲领草案》《中国左翼报人联盟纲领草案》《中国妇女运动大同盟纲领草案》《中国左翼作家联盟纲领草案》；同时发表《关于发表新纲领的紧急通告》，说明这些新纲领“是在文总具体的指示之下制出的”，目的在于更有效地“整顿文化斗争的阵容，展开文化斗争的战线，给敌人所施行的‘中日文化合作’与‘文化统制’以致命的打击”；并强调“这些纲领不是教条，而是行动的指导，全体同志要本着自己在工作中所得的具体经验，使它具体化；而且要修改它，使它成为完善的东西”。
文总和各左翼联盟的新纲领体现了建立广泛的抗日民族统一战线的要求。文总新纲领根据当时形势提出策略转变的任务：“左翼文化运动，必须综合广大群众的积极要求，不问政治的立场和派别，在争取民族独立自由与领土完整，在反帝、抗日、反蒋，在保卫新文化等等口号之下，结成广泛的统一战线，而以抗日反蒋为主要目标。”
为此，新纲领针对左翼文化运动中的关门主义，提出“组织的大众化”的要求，明确指出：“左翼文化运动，决不排斥中间层的作家、学者，应该正确的估计他们的进步性和保守性，给以鼓励和批评，争取他们参加革命的队伍，在实践中和劳苦大众密切的结合起来。”新纲领还从继承文化遗产的角度提出扩大和发展统一战线的任务：“左翼文化并不是从天而降的；它必须摄取过去的文化遗产，尤其是摄取资本主义的文化遗产，继续五四运动所未完成的任务，并使之向前发展。”“必须获得和利用中间阶级的知识分子、专门家，使他们为无产阶级的文化斗争而努力。”
对于左翼文化的大众化问题，新纲领从马列主义理论与劳苦大众的斗争实践相结合的高度来认识和要求。新纲领指出：“中国左翼文化，要在中国劳苦大众生活的斗争中和革命的实践中形成起来。马克思列宁的革命理论，革命组织的纲领和决议，要在中国劳苦大众的生活和实践里获得具体的理解，才能指导大众的生活，组织大众的斗争。这样才能成为大众自己的文化。因此，左翼文化的普及和建设，是不可分离的。”对于创作的题材和主题，左联的新纲领指出：“革命的主题不能机械地被了解为只限于描写革命斗争的激化的场面，而应当允许并保证题材范围的扩大，在现实的多样性中，在它的积极和消极面，掘发出现实本质之革命意义。”左联的这个新纲领比1931年11月左联执委会决议更加广泛、丰富而符合文学艺术的性质。
《文报》第11期起附发的一份副刊《研究资料》，也是胡乔木主持工作后创办的。第一期内容“专搜集主要报告、文件，以供讨论”。通过这份材料，及时地把包括季米特洛夫的报告等共产国际七大的文件传播到左翼文化工作者和上海地下党中间。