斯大林加紧战争准备，各种新式武器装备研制并生产出来，迅速地准备到军队中，加紧培训军官。由于大清洗，军队的高级指挥官奇缺，从被清洗的军官中又召回4千人，他自己每天工作16小时，研究战略战术，组织教官等问题。让总参谋部制订国家防御计划和武装部队部署计划。总参谋部的华西列夫斯基先后两次制订出防御计划，他把红军主力部署在西线，计划呈报给斯大林。斯大林不同意这个计划，令其重新制订。第三次，总参谋部把主力部署在西南面，斯大林同意了。事后证明，华西列夫斯基的前两个方案是正确的，因为斯大林的失误，使战争初期苏军为此付出了惨重的代价。
希特勒已经准备好进攻苏联，各种消息源源不断地送到斯大林那里。斯大林不相信，也不愿意承认战争马上就会爆发，他希望再拖上几个月，部队没有进入战争状态。但是，1941年6月21日夜间，朱可夫从基辅打来的电话里获悉，一名德军司务长越过了边防线对苏军指挥员说，德国军队将在次日凌晨发动进攻。朱可夫立即给斯大林和铁木辛哥打电话。斯大林把他们召到克里姆林宫。斯大林听了朱可夫报告后的第一个反应是：“也许是德国将领把这个逃兵送过来，是为了挑起冲突。”“不，我们认为这逃兵说的是真话。”他们回答说。
政治局委员都来了，斯大林询问他们的意见，但是没有回答。沉默一阵后，铁木辛哥说话了：“应该立即命令边境军区所有部队进入一级战备。”朱可夫把在总参谋部队订的命令读了一遍。命令强调必须根据打退敌人进攻的作战计划采取坚决行动，但斯大林仍没有放弃他的希望，以为这也许是一场虚惊。他说：“现在下达这样的命令还太早，也许还可以和平解决。”斯大林让人重新起草命令，发往列宁格勒、波罗的海西部、基辅和敖德萨各军区的前线部队，要他们立即做好准备，准备抗击德国可能发动的突然袭击。
1941年6月22日0时30分这项命令下达完毕，但许多集团军尚未接到命令时，德军已发动了全线进攻。
德国以162个师，30万人，3400辆坦克，7000门火炮分3路进军：北路指向列宁格勒、中路指向莫斯科、南路指向乌克兰，向苏联发动进攻。苏联就是在这种背景下仓皇应战的。
德国的大规模突然进攻，出乎斯大林的意料之外。由于他判断和部署的失误，使苏联遭受极大损失。
通信联络中断，莫斯科几乎失去了同各军区之间的联络。斯大林和他的统帅部并不知道，在战争第一天，苏军共损失了1200多架飞机，大部分飞机是被德军炸毁在机场上的。德军掌握了制空权并从宽约1500公里的广大地区向苏联发起正面进攻。德国的坦克部队和摩托化步兵师潮水般冲向苏联各边防要塞和城市。苏军在边境地区的军用仓库、武器弹药及其他军需物资，几乎全部落入德军手中，苏军官兵虽然奋力反击，但无法阻挡德军的快速推进。在战争的头几天，苏联西部边境各条战线都是乱糟糟的，有时简直是一片混乱。统帅部不断发出新的指示和命令，但这些指示和命令又都落后于急速变化的形势。在战争的头五六天里德军就深入了苏联国土150～200公里。
斯大林心情沮丧，甚至有些慌乱，但他很快从消沉的情绪中摆脱出来，振作起来，重新负起他身上的重任。为了摸清前线情况，他命令大本营的朱可夫大将到西南方面军、沙波升尼科和库利克元帅到西方方面军。
6月28日，德军在明斯克完成合围，苏军43个师又3个旅被围歼于明斯克，傍晚，白俄罗斯首府明斯克失守。斯大林沉痛地说：“列宁亲手缔造了我们的国家，而我们大家却把它误了！”
为了战争的需要，斯大林亲自兼任了国防人民委员，稍后，又亲自担任苏联武装部队最高统帅。斯大林集党、政、军大权一身，这在战争时期是必要的。斯大林命令将工业向东转移，根据这个命令，1500多个企业其中包括1300多个庞大军工厂，向后方疏散。这些工厂很快就完成迁移，并又很快地恢复生产，这为以后的战争胜利打下了深厚的物质基础。
德军攻破了列宁格勒以东20公里的筑垒区。9月8日，攻占了拉多加湖畔的计利湖利堡。列宁格勒被德军包围，列宁格勒居民开始了近500天的保卫战。
在西南方向，德军的南方集团军群从利沃夫出发，直逼乌克兰首都基辅。朱可夫紧急求见斯大林，向斯大林汇报总参谋部的作战方案，建议加强中央方面军，建议把西南方面军撤到第聂伯河以东。斯大林问道：“基辅怎么办？”朱可夫坚持己见：“基辅不得不放弃。”斯大林发火了，他高声说道：“把基辅交给敌人，亏你想得出来。”朱可夫委屈地回答说：“如果你认为我这个参谋长只会胡说八道，那么还要我干什么？我请求解除我的总参谋长职务，把我派到前线去，我在那里可能对祖国更有好处一些。”
“请你冷静些，”斯大林说：“再说……如果你这样提出问题，那么我们缺了你也能行……你去工作吧，我们一会儿叫你来。”大约半小时后，朱可夫被召去。斯大林说：“我们商量了一下，决定解除你的总参谋长职务，由沙波什尼科夫接任。他的身体确实不太好，但没有关系，我们可以帮助他。”
斯大林接着问朱可夫，愿意上哪，并同意由他来指挥他所提议的对叶尔尼亚突击部的反突击。
朱可夫要求离去时，斯大林微笑地请他一起坐下喝茶。他珍惜朱可夫的帅才，尽可能消除他的情绪，斯大林提醒他，他仍然是副国防人民委员和最高统帅部的成员。
在整个二战期间，朱可夫是斯大林最得力的助手之一。他被频繁地调来调去，他指挥了莫斯科保卫战，列宁格勒反击战……他为祖国立下了大功。二战中，他成了最声名卓著的苏联元帅。
朱可夫的计划是正确的，但斯大林没有采纳他的建议。斯大林打电话给西南方面军司令员基尔波诺斯，要他不惜一切守住基辅。经过1个多月的苦战，基辅还是陷落了。基尔波诺斯战死沙场，苏军被围歼60～70万人。
战场上的胜利鼓舞了希特勒，他集中优势兵力准备在入冬前占领莫斯科。在莫斯科前沿的苏联西方方面军、预备队方面军、布良斯克方面军和加里宁方面军英勇奋战，到10月6日还是被围困在维亚泽马地区，经过几次突围均告失败。10月10日，60万苏军在维亚泽马覆没。13日，德军已挺进到离莫斯科不到100公里的地区，莫斯科面临现实的威胁。斯大林命令立即撤退主要的社会活动家和国务活动家。政府迁往古比雪夫，各大企业一律布雷，但他仍希望会有良好的结局，因为西伯利亚和远东的援军已经登车。
敌人的逼近和大规模的撤离一度在市民中引起恐慌，关于斯大林和政治局已经离开莫斯科的谣言也流传开来。10月17日，中央委员会书记向全国广播说，斯大林本人就在莫斯科，他严厉地斥责了要放弃莫斯科的谣言。斯大林留在莫斯科的消息鼓舞了人民。“绝不放弃莫斯科”，“我们无路可退了”成了对每个苏联人的崇高的爱国主义的命令。秩序很快得到恢复，街头呈现出沉着坚定的气氛，首都准备战斗到底。
贝利亚曾向斯大林报告说，在莫斯科近郊某车站已为他准备好一辆专列，还有大本营的四架飞机也已经准备就绪，其中有一架是斯大林的专机“道格拉斯”。斯大林一言不发，他深知，只要军队、人民知道斯大林在莫斯科，就会给他们增添信心，他决心留在莫斯科直到最后一人。
1941年11月6日是十月革命纪念日，庆祝活动安排在地下铁道的马雅可夫斯基车站举行，斯大林在会上发表了讲话并立即广播发表。在首都岌岌可危的时候，斯大林的演讲具有不同寻常的意义。
斯大林说：在反***战争中，苏联并不孤立，英国和美国已表示支持。……问题在于，现在欧洲大陆上没有任何一支同德国***军队作战的英国或美国的军队。因此德国人不必分散自己的力量，不必在东西两个战场上作战。
他用充满激愤的语调说：“这一群丧尽天良、毫无人格、充满兽性的人，恬不知耻地号召消灭伟大的俄罗斯民族，消灭普列汉诺夫和列宁，别林斯基和车尔尼雪夫斯基、普希金和托尔斯泰……苏利科夫和库图左夫的民族！德国侵略者想对苏联各族人民进行歼灭战。好吧，既然德国人想进行歼灭战，他们就一定会得到歼灭战！今后我们的任务就是把侵入我们祖国领土的所有德国人——占领者一个不剩地歼灭掉……”
在这些关键的日子，斯大林非常重视从精神上鼓舞苏联人民必胜的信心。他决定第二天照常举行传统的阅兵式。
11月7日，斯大林在红场检阅了部队，听他演讲的部队随即开赴前线。斯大林在讲话中最后号召：“你们进行的战争是解放战争，正义的战争！让我们伟大的先辈……英勇的形象在这次战争中鼓舞着你们，让伟大的列宁的胜利旗帜引导你们，消灭德国占领者！我们光荣的祖国，我们祖国的自由，我们祖国的独立万岁！在列宁的旗帜下向胜利前进！”
斯大林在11月6日和7日的两次讲话的文本迅速在军队和人民中散发。每个苏联人都如饥似渴地阅读了斯大林的讲话。这些讲话极大地振奋了军队和老百姓的士气，它表达了他们对自己祖国的热爱和对残暴、狂妄的敌人的仇恨，同时也产生了重大的国际影响。
11月15日，德军再次向莫斯科发动攻击。德军不顾一切，不惜一切代价，用坦克在前头开路，妄图冲进莫斯科。德军的先头部队已冲到离莫斯科20公里远的地方，指挥官用望远镜已能看到克里姆林宫顶端的红星了。斯大林打电话给朱可夫：“你坚信我们能够守住莫斯科吗？我怀着内心的痛苦在问你这个问题，希望你作为共产党员诚实地回答。”
“毫无疑问，我们能够守住莫斯科。但是至少还需要增加2个集团军和200辆坦克。”朱可夫答道。
“你能有这样的信心，这不错。你打电话到总参谋部去接洽一下，看把你所要的2个预备队集团军集中到哪里。他们在11月底将准备好，但是坦克现在还不能给。”
苏军的顽强抵抗迫使德军未能再前进一步。德国的进攻也就慢慢停了下来。敌人一停下来，斯大林、朱可夫和铁木辛哥就立即计划冬季的反攻。
11月30日铁木辛哥发起了进攻并收复了罗斯托夫，他准备进攻德国中央集团军的侧翼，斯大林表示同意。
12月5日、6日，加里宁方面军、西方方面军、西南方面军相继转入进攻，并取得了惊人的成功，把德军向西击退了150公里，解除了对莫斯科的包围。希特勒遭受了第二次世界大战以来的第一次大失败。
1942年，苏军向德国发动总反攻，但是由于没有足够的预备队和炮兵支援，苏军又受到了一些挫折。在南部、塞云斯托波尔、哈尔科夫等地遭到失败。5月，苏军在刻赤、哈尔科夫相继兵败，7月塞瓦斯托波尔失守，苏军损失惨重。
1942年8月底，苏军已经撤退到斯大林格勒防御区的中心。为了加强斯大林格勒大会战的指挥，斯大林把朱可夫从西线调开，同时任命他为副最高统帅。
9月3日，希特勒的一个坦克兵团冲到了斯大林格勒郊区，当华西列夫斯基向斯大林报告形势时，斯大林打断他的话：“你们怎么不懂得，如果我们放弃了斯大林格勒，我们的南部同中部的联系就将被切断，我们还能保持住南部地区？在那里的人员是否懂得，这不仅是斯大林格勒的灾难，而且还会失去一条水路干线，不久还将失去石油！”
华西列夫斯基回答说：“斯大林格勒城下一切还能作战的力量，我们都调集到危险地段上去了，我想，捍卫住城市还有可能。”
但斯大林不放心，他立即口授命令给朱可夫：“……敌人可能在今天或明天就把斯大林格勒拿下来。请您要求斯大林格勒以北和西北各部队的司令立即对敌人发动突击，支援斯大林格勒人……”
随后几天，朱可夫从北面组织了几次攻击。但是由于没有得到炮兵和空军的有力增援，这几次攻击没有取得明显效果。
9月10日，朱可夫用电话向斯大林报告说：“以斯大林格勒方面军现有的兵力，我们不能够突破敌人的走廊并与东南方面军的部队在市区会师。德军由于从斯大林格勒附近新近调来的部队，敌人的防御正面相当强大了。以现在的兵力和部署继续冲击是没有用的，而且部队必然要遭受重大的损失。