在清华加入共青团
1930年夏天，胡乔木从扬州中学毕业，到上海考大学。他报考了两所名校——清华大学和交通大学，结果被清华大学物理系录取。1930年9月新学年开学，胡乔木与这一届（称1934级，又称第六级）170多名新生一起踏进了北平清华园。
清华大学理学院院长、物理系主任吴有训，同物理系每个新生个别谈话。他看胡乔木选了好几门文科课程，问是何缘故。胡乔木回答：喜欢文科，对文科有兴趣。吴有训说：感到有兴趣的课程，才会去专心攻读，取得成就。既然你的兴趣在文科，可以允许你转系。当时，中文系主任是胡乔木早就仰慕的朱自清，可惜该系学生名额已经满了。胡乔木就进了以蒋廷黻为主任的历史系。胡乔木在他的自传中对此有过这样的解释：“三〇年秋到了清华，先入了物理系，一看功课太重了，没有时间听旁的课，所以改入了历史系，而目的仍在于什么都学。”
清华大学是美国用庚子赔款办起来的，一切制度都以美国学校为蓝本，有些陋习也一概因袭，其中之一就是所谓“拖尸”（Toss）。这是美国校园里老生戏弄新生的一种恶作剧，即在新生办理报到手续的最后，让他们在体育馆进行所谓“体格检查”：经过一连串钻网、爬行之后，由四个老生抓住新生的手足来回晃悠，然后扔到旁边的棉垫上。墙上贴着一道“告示”：“反抗者入水。”新生若不服从，就有被扔到游泳池中的可能。入学以后，胡乔木即以“反拖尸”勇士的形象留在同级同学的记忆中。
北方左联（全称“中国左翼作家联盟北方部”或“北方左翼作家联盟”）负责人之一、清华大学团支部书记曾迪先注意到了胡乔木，和他交上了朋友。
不久，胡乔木经李乐光（兆瑞，***之侄）介绍参加了北方左联，1930年12月，曾迪先又介绍他参加了共青团。
胡乔木加入左联后，曾写过一封信给朱自清，询问他对左翼文化运动的看法。朱先生托人带回信给胡乔木，大意说：大道之行也势不可当。我或为同情者，或则消沉下去。朱先生邀请这位小老乡有空到他家里坐坐。胡乔木即前往拜访。他同朱自清的交往由此开始。
胡乔木对文艺的兴趣有增无减。在过两天就要开始“大学时代的第一次大考”的时候，他竟花了一整天工夫，专门抄录译诗，装订成册，赠给同学殷大钧，以“履行”“一个宿约”，纪念他们之间的友情。对这个让人不可思议的举动，胡乔木轻描淡写地说：“我告诉你，关于考试，我还是像在中学一样，向来是满不在乎的。”在小册子末尾，他还给这位朋友写了一封短信，对这些译诗进行评论：“这些译品，也不能算是都好。如朱湘译的《秋曲》，徐志摩译的拜伦诗，都不是成功的东西。一般地说，郭沫若和周作人的成绩最好，而私意尤爱周氏译品，虽然他的思想里很有些毒质。”一个大学一年级的学生，能对当世名家作出这样一番评论，其胆识确实不凡。
加入共青团的时候，清华团支部的工作和活动主要有四项。第一项是反对立三路线和反对罗章龙右派的斗争。清华团支部是在拥护六届三中全会的立场上开展斗争的。第二项是领导学校反对吴南轩当校长的斗争。第三项是参加学生会工作。第四项是组织发展工作。胡乔木主要参加了后面两项。
1931年春，曾迪先毕业后赴上海工作，胡乔木接替他任清华大学团支部书记。随后，又任共青团北平市西郊区委书记。西郊团区委成立于1930年，主要领导清华大学、燕京大学和新农农业学校团组织。它还直接领导清河织呢厂一个支部和香山慈幼院一个支部。胡乔木担任清华团支部书记以后，列席了清华大学党支部的会议。
创办民众夜校
20世纪30年代初，在那座嵌着“清华学堂”四个大字的标志性建筑的二层楼里，清华大学学生会创办了一所民众夜校，正式的名称叫“工友子弟学校”。实际负责创办这所学校的是胡乔木和他最亲密的同学张甲洲。
张甲洲是黑龙江省巴彦县人，1931年上半年从北大转来清华，是一位干练的共产党员。他性格豪爽，长得高大健壮，大家都叫他“张大个”。他同胡乔木的温雅瘦弱适成对比，但两人成为好朋友，互相配合，相得益彰。在胡乔木鼎力协助下，一所平民夜校很快就办了起来。夜校除吸收校内职工和职工子弟外，还吸收校外的农民和农民子弟。按照不同文化程度，夜校分了好几个班。胡乔木除自己承担教学任务外，还请一些同学教课，后来成为着名学者的季羡林（时为外语系学生）就是其中的一个。
通过民众夜校，不但传授了文化知识，传播了革命思想，还团结了校内外的工友、农友，发展了组织。胡乔木在夜校学员中发展了好几个团员。后来，在周围农村建立了两个团支部，在清华校内职工中也建立了一个团支部。地下党团员同清华的门卫也建立了良好的关系。1932年，张甲洲就是得到清华门卫报警，得知当局即将来抓捕他的消息后逃走的。
胡乔木除了办民众夜校外，还是革命刊物《北方青年》的主要撰稿人之一。《北方青年》是清华大学党支部用“朝曦社”名义出版的刊物。李乐光主编，殷大钧负责出版发行事务。刊物在学校印刷厂印刷，出版后分赠进步同学，一部分送到市内东安市场等地的报刊摊上代销，同时还办理邮购。刊物发行到保定、天津、邯郸等地，在华北青年中颇有影响。在敌人眼皮底下作战，刊物带点灰色，题目与正文往往不合，作者用假名且常常变换。胡乔木在上面发表过不少文章，其中有一篇题目是《中国的赤祸问题》，实际讲的是全国各地苏维埃区域扩大的情况。老同学回忆：“胡乔木写作极快，随时随地能写出一篇文章来。一次，他正盘腿坐在草地上看书，有人持稿纸约他写一篇短评。他叫来人坐下等一等，取过稿纸，用书垫着，放在膝盖上，写将起来。一会儿就写完，交来人带走。”
在清华，胡乔木尽其所能地开展各种革命活动。季羡林以亲身经历作过这样的忆述：我认识乔木是在清华大学，……当时他正在从事反国民党的地下活动（后来他告诉我，他当时还不是党员）。他创办了一个工友子弟夜校，约我去上课。我确实也去上了课，就在那一座门外嵌着“清华学堂”的高大的楼房内。有一天夜里，他摸黑坐到我的床头上，劝我参加革命活动。我虽然痛恶国民党，但我觉悟低，又怕担风险，所以，尽管他苦口婆心，反复劝说，我这一块顽石愣是不点头。我仿佛看到他的眼睛在黑暗中闪光。最后，听他叹了一口气，离开了我的房间。早晨，在盥洗室中我们的脸盆里，往往能发现革命的传单，是手抄油印的。我们心里都明白，这是从哪里来的。但是没有一个人向学校领导去报告。
在这种地下的秘密活动过程中，一点点细小的疏漏，都会惹出极大的麻烦。
有一次，在不经意间出了事。那时清华学生盛行在小山坡上搭帐篷睡觉，胡乔木野营露宿时丢了一条毯子，向学校警卫报告了。白天，胡乔木去香山同慈幼院团支部书记会面。这时一位农村团支部书记到清华找胡乔木。警卫刚听过报警，怀疑来者是个小偷，问他话时又吞吞吐吐，于是把他捆起来打。那个书记忍受不了，把团的活动一五一十说了出来。胡乔木在校外，事后才知出事。
不幸中之大幸，当时的代理校长翁文灏是个自由主义者，采取息事宁人态度。过了几天，他把胡乔木找去谈话，对胡乔木说：“学校好比一个戏台，谁都可以到这个戏台上来演戏，但是你们不能把这个戏台烧掉。烧掉了戏台，那就什么戏也演不成了。”说完拿出一张名单，交给胡乔木，说：“最好你跟你们的组织讲一讲，只要你们不破坏学校，学校也不为难你们。”
不过，到了1931年暑假，胡乔木还是被北平市公安局以“共党主要分子”密令缉拿了。
主编《工农兵小报》
胡乔木在清华园里待不下去了。1931年11月，他被调到北平团市委工作，担任宣传部长。
离开清华以后，胡乔木没有地方住，也没有钱，吃饭都成问题。那时，团市委组织部长于致远住在保定会馆，胡乔木就先在那里落脚，后来得到北京大学的两位党员顾卓新和刘松云（即刘江陵）以及北师大张柏园（亭森）和中国大学一位姓陈的学生（团员）帮助，生活才算安定下来。
胡乔木担任宣传部长以后的一项主要工作，是办一份半公开的铅印小报——《工农兵小报》，一共出了四五期。
过不多久，“九一八”事变发生，共青团在党的领导下，开展抗日救亡运动，宣传活动异常紧张繁忙。胡乔木担任反帝大同盟的青年部部长，同反帝大同盟负责人林枫有过多次来往和工作上的配合。胡乔木领导各团支部上街讲演，还组织青年学生赴南京请愿。“九一八”事变后，在北平学生和工人抗日救亡运动中，胡乔木是积极参与者和领导者之一。