直到第3届奥运会决定在美国的圣路易斯举行后，大批热心的业余拳击爱好者才又重新燃起了将拳击列入奥运会的希望之火。因为，这个位于密西西比河畔的城市当时正是美国开展拳击运动最普及的地方，有众多的从英国留学归来的美国青年对拳击十分酷爱，希望拳击能成为奥运大家庭中的一员。
为了将拳击列入奥运会比赛项目，当时的着名作家杰克·伦敦和肖伯纳做了大量工作，他们在提案中以充分的事实证明，拳击运动对青年所起的教育作用，对人类体能、智能的发掘和强化，特别是对人类勇敢精神的培养是积极的。他们说服了所有固执己见的人，提案终被通过。至此，拳击才真正堂而皇之地进入奥林匹克运动的神圣殿堂。
然而，由于当时通讯设施落后，加上路途遥远，旅费昂贵及拳击运动尚未普及等诸多原因，只有12个国家的625名运动员参加了1904年圣路易斯夏季奥运会，美国就占了533人，而报名参加拳击比赛的国家只有美国。当时的业余拳击比赛规则尚不完善，加上组织工作缺乏经验，比赛只好采用职业拳击比赛的方法，分成7个级别进行角逐，即次最轻量级（4762公斤）、最轻量级（5216公斤）、次轻量级（5673公斤）、轻量级（6124公斤），次中量级（6527公斤）、中量级（7167公斤）和重量级（7167公斤以上）。规则还规定，凡获各级别冠军的运动员可以向高一级别的冠军进行挑战。结果，一位名叫奥·柯克的运动员在最轻量级比赛中打败所有对手获得冠军后，又战胜了次轻量级冠军哈莱尔，成为奥运史上第一位、也是惟一一位在一届比赛中，获得两枚不同级别拳击比赛金牌的运动员。
尽管1904年奥运会拳击比赛只有美国参加，但它对后来业余拳击运动在世界范围内的发展普及起了相当重要的作用，影响是极其深刻的。
时隔4年（1908年），第4届奥运会在伦敦举行。英国是现代拳击运动的发源地，作为东道主，自然把拳击列为比赛项目，但由于筹备时间仓促，从发出邀请到正式比赛，时间很短。结果，除欧洲选手外，当时堪称世界拳击第一的美国竟未能赶到伦敦。最后，除澳大利亚选手雷·贝克获中量级银牌外，所有奖牌（共5个级别）皆为东道主英国囊括。
此后10余年，奥林匹克拳击运动由于各种原因一度受到影响。1912年第5届奥运会，因东道主瑞典的斯德哥尔摩法律上禁止拳击，拳击未能列入比赛项目；1916年，由于德国挑起第一次世界大战，原定在柏林举行的第6届奥运会被迫取消。
1920年，第一次世界大战后的首届奥运会——第7届奥运会在比利时的安特卫普举行。在这届奥运会上，奥运五环旗首次出现在比赛场上，运动员宣誓，严格遵守各项比赛规则，发扬和体现奥林匹克“更强、更快、更高”的精神，这无疑是对奥林匹克拳击运动朝着健康、文明的方向发展，提供了理论上的依据和保证，具有深远的历史意义。
在这届奥运会上，参加拳击比赛的有来自25个国家的运动员，超过了以往任何一届。在8个级别中，美、英两个老牌拳击强国显示了强大的实力，分获3枚和2枚金牌，另3枚为德国、南非联邦和加拿大所得。获奖牌的国家有8个之多，（还有法国、丹麦和挪威）。它标志着奥林匹克拳击运动水平普遍有了提高。
从这届奥运会以后的10年间，奥林匹克拳击运动有了蓬勃的发展，尤其是在美国。其表现不仅是参加的人数增多，而且在规则和组织上都进一步得到完善和统一。例如，1923年美国业余拳击规则就明确规定，运动员比赛时必须穿轻便靴、短裤和保护帽（头盔），同时对拳套的重量做了严格的规定。另外，比赛期间至少要有一名临场医生担任医务监督，处理各种紧急情况等等。所有这些都为运动员的身心健康提供了可靠的保证。当时，有关裁判的规则是：每场比赛台下两边各有一名计分裁判，每个回合结束后，台上和台下裁判所判赢的一方得5分，输的4分。如果台下两名裁判的裁决结果一致，即可宣布比赛的结果；如有分歧，可参照台上裁判的意见。如果再达不成一致，运动员需进行第4个回合的比赛再分出高低。倘若台下裁判对胜负仍持不同意见，台上裁判将以仲裁身份做出裁决。
随着奥林匹克拳击运动的普及，国际比赛愈来愈多，水平愈来愈高。人们纷纷意识到，成立一个国际性的业余拳击组织，制定统一规则，对发展奥林匹克拳击运动是何等的重要。在许多国家的呼吁下，1924年3月，即第8届巴黎奥运会前夕，国际业余拳击联合会宣告成立，美国的拳击活动家杰·卡迪被选为首任主席。至此，奥林匹克拳击运动开始了新的里程碑。
在巴黎奥运会上，美英垄断拳击比赛的局面虽没有多大的改变，但丹麦、比利时和挪威三国选手已异军突起，分别夺得轻量级、次中量级和重量级3枚金牌，表明了欧洲业余拳击整体水平的提高。另外，来自南美的阿根廷队亦锋芒初露，勇夺银牌铜牌各两枚，他们的拳路刁钻凶狠，作风勇猛顽强，给人留下了深刻印象。
1928年，第9届奥运会在荷兰的阿姆斯特丹举行。在所有项目中，惟有拳击比赛爆出的冷门最多。被称为头号强国的美国只有1枚银牌和1枚铜牌进帐，而英国竟榜上无名，与奖牌无缘，成为这届奥运会拳击比赛中的头号新闻。
1932年第10届美国洛杉矾奥运会，美洲选手占尽天时地利人和，夺得5枚金牌，来自欧洲的匈牙利选手继续保持他们的次最轻量级的优势，获得金牌。而来自南非联邦的选手也表现不俗，获得2枚金牌和10枚铜牌，显示了很强的实力。值得欣慰的是，菲律宾选手维拉鲁瓦以快速多变的拳路打败多名对手，获得最轻量级铜牌。这是自拳击列入奥运会比赛项目后，亚洲选手首次在这个领域中争得一席之地，表明了亚洲拳击运动在悄悄崛起。
同样，1936年柏林奥运会，欧洲选手也挟地利之势大获全胜，除阿根廷选手瓦查诺获次轻量级冠军外，其余桂冠皆为欧洲人所摘取。
第二次世界大战爆发，使奥林匹克拳击运动中断长达10年之久，国际业余拳击联合会也名存实亡，被迫解散。
战后，国际业余拳击运动再度蓬勃开展起来，形成了一股更强大的潮流。1946年，国际业余拳击联合会重新成立，各种比赛纷纷恢复。当时国际比赛中台下裁判已增至3名，但台上裁判仍负责计分工作。
1948年，战后首届奥运会在英国伦敦举行。但东道主在拳击比赛中却名落孙山，与奖牌无缘。美国队也命运不济，只获得可怜的一枚银牌，此事在美国拳击界引起极大震动。有关人士呼吁，要加强和掌握现代拳击运动先进的管理方法，否则将落伍于欧洲。
20世纪50年代是国际奥林匹克拳击运动飞速发展的10年。由于战后亚洲、欧洲和拉丁美洲的拳击组织和管理机构相继建立，各种洲际比赛应运而生，极大地促进和推动了业余拳击运动的发展。如亚运会、泛美运动会、欧洲拳击锦标赛，英联邦运动会及各种双边多边的国际比赛，改变了第二次世界大战前奥林匹克拳击运动的格局，形成了以前苏联、古巴、美国、前东欧及亚洲的南北朝鲜等群雄并起的新局面。
另外，对比赛规则进行了重大修改，使之更科学，更合理，有利于运动员身心健康。如从1952年开始，奥运会拳击比赛从以前的8个级别增至10个，每个级别体重差别缩小，即51公斤，54公斤、57公斤、60公斤、635公斤、67公斤、71公斤、75公斤、81公斤和81公斤以上。国际业余拳联也在规则中规定：运动员被击倒后，台上裁判必须读秒至8后，比赛才能继续开始；被击昏的运动员必须立即接受医生检查和紧急处置；运动员最小年龄不得低于17岁。
1952年赫尔辛基第15届奥运会，美国队在10个级别中勇夺5项冠军，其中获75公斤级金牌的弗洛伊德·帕特森和获81公斤以上级银牌的瑞典选手伊·约翰森，后来均成为职业拳赛中赫赫有名的世界重量级拳王，开创了奥运会冠军向世界职业拳击冠军演变的历史。
在这届比赛中，荷兰、前捷克斯洛伐克、意大利和匈牙利选手分摊了另外5项冠军。
1956年，第16届奥运会在澳大利亚的墨尔本举行。这是自1896年以来奥运会首次在欧洲大陆和美洲大陆以外举行，各国选手为此都加紧赛前准备，力争取得好成绩。
此前，欧洲于1953年和1955年在华沙和柏林举行了两年一度的欧洲锦标赛。另外，索非亚、布达佩斯国际拳击赛，北欧拳击冠军赛和地中海地区冠军赛也先后举行，使欧洲选手得到了充分锻炼的机会。
1954年马尼拉第2届亚运会，日本、菲律宾和泰国等国家的选手在轻级别拳击比赛中，显示了较强的实力和较高的水平。
在墨西哥举行的泛美运动会上，阿根廷、智利、巴拿马、委内瑞拉、巴西、墨西哥和波多黎各等国选手，作风勇猛，拳路凶狠，其势锐不可挡，给人印象深刻。特别是阿根廷选手力夺4项冠军，两项亚军和4项季军，以较大优势压倒美国，爆出了这届运动会的大冷门。
因此，在墨尔本奥运会拳击比赛上群雄并起，争夺得异常激烈。英国选手斯平克斯在51公斤级比赛中，为英国夺得自1924年以来的第1枚奥运会拳击金牌。他的队友塔克特也在61公斤级决赛中为英国再添一金，大出人们的预料。
前苏联队则异军突起，继51公斤级选手萨弗罗诺夫成为奥运史上获得首枚拳击金牌的前苏联运动员后，他的队友再添2金1银2铜，成为本届比赛的第一个大赢家。
匈牙利着名拳击手帕普卫冕成功，成为世界上第一位连夺3届奥运会拳击比赛金牌的运动员。罗马尼亚选手林卡也为本国夺得第一枚奥运拳击金牌，爆出冷门。
20世纪60年代，奥林匹克拳击运动有了更大的发展，总格局发生了变化，呈现以下特点：
第一，位于地中海半岛的意大利队崛起，成为西欧拳击强国。
例如，1960年罗马奥运会上，意大利作为东道主挟天时地利人和，一下夺金牌银牌各3枚，雄居各国之首；1964年东京奥运会，该队再夺2枚金牌3枚银牌。
第二，以前苏联为首的前东欧各国成为奥林匹克拳击运动的主流。在60年代举行的3届奥运会上（1960年、1964年和1968年），前苏联、波兰、匈牙利、前捷克斯洛伐克、前民主德国、罗马尼亚和保加利亚共获得金牌银牌各15枚（占总数的50％）、铜牌17枚，其中尤以前苏联和波兰成绩最佳，分获7金8银和5金6银。
第三，亚洲拳击锦标赛创办于1963年，为亚洲业余拳击运动的普及提高创造了条件，涌现了像韩国这样的世界强队。在奥运会上，日本、韩国和菲律宾开始加入轻级别奖牌争夺的行列，标志着亚洲拳击水平的提高。例如，日本选手樱井孝雄（54公斤级）在1964年东京奥运会上为日本和亚洲夺得奥运史上第1枚拳击金牌。在罗马和墨西哥奥运会上，日本选手田边和冈森各夺一枚铜牌，韩国选手徐初春（54公斤级）、郑周之（48公斤级）和孙吉灿（54公斤级）共夺得2枚银牌和1枚铜牌，菲律宾选手维兰鲁埃瓦（57公斤级）亦获得1枚银牌。
第四，美国拳坛霸主地位消失。这3届奥运会美国仅得6枚金牌（多在重量级）和8枚铜牌。但在这些金牌得主中，涌现了一些赫赫有名的职业拳击世界重量级冠军。如1960年奥运会用公斤级的卡修斯·克莱，即后改名为穆罕默德的拳王阿里；1964年奥运会用公斤以上级的乔·弗雷泽和1968年奥运会81公斤以上级的乔治·福尔曼。他们被誉为70年代世界重量级拳坛的“三巨头”，在拳击史上写下了令人骄傲的一页。至今，48岁的福尔曼仍活跃在世界拳坛上，雄风不减。
从1968年奥运会开始，拳击比赛增加至11个级别，即增加了48公斤级，为身材灵巧的亚洲人染指金牌创造了条件。另外，规则中又增加了运动员比赛前后必须接受医生检查的规定，以确保运动员的身心健康。
从70年代至80年代初，国际奥林匹克拳击运动格局又出现了新变化。来自加勒比海的古巴运动员以充沛的体力、凶狠刁钻的拳路和顽强的抗击打能力开始在奥林匹克拳击运动中独占鳌头。前苏联和美国退至第2、第3，前民主德国、南斯拉夫、保加利亚和罗马尼亚等国家也显示了极强的实力和水平，亚洲的韩国也脐身世界强队之林。世界拳坛呈现百花齐放的竞争局面。
1974年，国际业余拳联创办了4年一届的世界业余拳击锦标赛，为世界各国运动员切磋拳技、提高水平提供了机会，至1994年共举办了6届，古巴成绩最好，之后是前苏联（俄罗斯）及美国。
从1972年慕尼黑奥运会至1980年莫斯科奥运会，古巴运动员可谓出尽风头，以令人信服的实力得到了世界的公认，共获得11枚金牌、4枚银牌和3枚铜牌；值得一提的是，在莫斯科奥运会上古巴队勇夺6个冠军。其中，着名重量级运动员史蒂文森成为继匈牙利的帕普之后，世界上第2位连续3届获得奥运会拳击金牌的运动员，为古巴赢得了极大的荣誉。
由于古巴抵制了1984年洛杉矾奥运会和缺席1988年汉城奥运会，这两届拳击比赛的真正水平未能得到体现。但在1992年巴塞罗那奥运会和1996年亚特兰大奥运会上，古巴队再次让世界注目，共夺得4枚金牌和3枚银牌。在历届奥运会中，其奖牌总数34枚（19枚金牌、10枚银牌和5枚铜牌）排在美国和俄罗斯之后，列第3位；但近两届奥运会，古巴队的金牌数名列第一，其霸主地位不容置疑。
美国在1972年奥运会拳击比赛中惨败后（仅获得635公斤级1枚金牌），在国内引起了极大反响，舆论界甚至要求有关人士引咎辞职。为此，美国为10～15岁的孩子制定了奥运会预备队的训练大纲，其中包括地方、地区和国家3级比赛制度。这些独特且行之有效的措施和形式，培养了一大批爱好拳击的青少年。1976年蒙特利尔奥运会，美国队重放异彩，获得5枚金牌1枚银牌和1枚铜牌。他们中有人们熟悉的后来成为世界着名职业拳击世界冠军的伦纳德和斯平克斯兄弟。美国队在这届奥运会拳击比赛中大获全胜，被美国舆论界称之为爆发美国“拳击工业革命”中的重要原因之一。