古代炼丹家制药时，逐渐发现硫黄、焰硝和木炭（C）的混合物有燃烧和爆炸能力。唐末天祐年间（904～906），在战争中开始出现火药箭，还出现“发机飞火”的记载，即用抛石机投掷火药包，作燃烧性兵器。
意外发明火药宋朝东京开封府（今河南开封）设广备攻城作，其中有生产火药的部门。《武经总要》一书记载了火药的3种配方，生产火药已达相当规模。尽管生产技术严格保密，仍传入辽朝，故从日本大量进口硫黄的同时，又严禁硫黄和焰硝向辽出口。宋神宗赵顼时，边防军中已大量配备火药弓箭、火药火炮箭等兵器。辽道宗时，也已在南京析津府（今北京）“日阅火炮”。南宋时，水军也配备了霹雳炮、火炮、火箭等兵器，在建康府（今江苏南京）、江陵府（今湖北江陵）等城市都设有火药兵器制造业。早期火药兵器威力有限，不可能取代冷兵器。但自南宋中期以后，火药兵器在兵器中的比重显著增大。
金朝火药制造技术来源于辽，金军攻宋之初，已使用火炮。此后，在宋、金、元之间的战争中，火药的使用愈益频繁。金末抗击蒙古军时，曾使用震天雷、飞火枪等火器。宋代出现了类似近代炮弹的铁火炮，却仍用抛石机投射；又发明了突火枪，以巨竹为筒，发射“子窠”，类似于后世枪炮，却尚未使用金属发射管。这是辽、宋、金代火药兵器进步的极限，却已决定了后世火药兵器的发展方向。总之，辽、宋、金代可算是人类使用火药的奠基时期。到元、明又发现了铜铁铸造的管状火器——铳和炮。
南宋时候，火药的使用越来越普遍了，火器也得到了进一步的发展。为了防御金兵的侵扰，南宋的军事家们就不断想法改进武器。南宋初，宋高宗绍兴二年（公元1132年），有一个叫陈规的军事学家，发明了一种管形火器——火枪，这在火器史上是一大进步。这种火枪是用长竹竿做的，竹管里装满火药。打仗的时候，由两个人拿着，点着了火，发射出去，用它烧敌人。
这是我国最早出现的管形火器。把火药装在竹管里做成火枪，在火药的应用上是个了不起的进步。用抛石机发射火药，不容易准确地打中目标；有了管形火器，人们就可以比较准确地发射和适当地操纵火药的起爆了。
火枪发明以后，经过不断的改进，到了南宋末年，又有人发明了突火枪。突火枪是用粗毛竹筒做成的，竹筒里放有火药，还放一种叫“子窠”的东西。用火把火药点着以后，起初发出火焰，接着“子窠”就射出去，并且发出像炮一样的声音。这种“子窠”，究竟是什么东西呢？它很可能就是一种最早的子弹，可惜古书上没有说明。火枪的作用只在烧人，突火枪却能发出子窠打人，比火枪又前进了一步。
火箭和突火枪
火枪和突火枪，都是用竹管做的原始的管形火器，威力不大，但它们是近代枪炮的老祖宗。近代的枪炮，就是从它们慢慢发展来的。
明朝时候，由于火药技术的进步，人们还发明了原始的两级火箭。
根据茅元仪《武备志》一书的记载，当时有一种名叫“火龙出水”的火箭。用一根五尺长的大竹筒，做成一条龙，龙身上前后各扎两枝大火箭，火龙出水，这就是原始的两级火箭。这是第一级火箭，用来推动龙身飞行。在龙腹里，也装几支火箭，这是第二级火箭。使用的时候，先发射第一级火箭，飞到两三里远，引火线又烧着了装在龙腹里的第二级火箭，它们就从龙口中直飞出去，焚烧敌人。
想上天的官员明朝时候，技术水平最高的火箭，发射出去还能再飞回来。这种火箭叫“飞空砂筒”。根据《武备志》记载，这种火箭是把装上炸药和细砂的小筒子，连在竹竿的一端；同时，再用两个“起火”一类的东西，一正一反地绑在竹竿上。点燃正向绑着的“起火”，整个筒子就会飞走，运行到敌人的上空时，引火线点着炸药，小筒子就下落爆炸；同时，反向绑着的“起火”也被点着，使竹竿飞回原来的地方。这种“飞空砂筒”，不但是一种两级火箭，而且还能飞出去又飞回来，真是巧妙极了。
14世纪末，我国还有人幻想利用火箭的力量来飞行。这件事写在外国人赫伯特·瑟姆的书中。他写道，14世纪末年，有一个中国官吏，曾经在一把椅子后面，装上46支大火箭，人坐在椅子上，两手拿着两个大风筝。然后叫人用火把这些火箭点着，他想借着火箭推进的力量，再加上风筝上升的力量，使自己飞向前方，结果没有成功。这位官吏的幻想虽然没有实现，但是十分可贵，它和现在喷气式飞机的原理，是非常相近的。
火药和火器随着成吉思汗的西征首先传入中东。阿拉伯人仿照我国的突火枪，造出了木质管形射击火器，称为“马达发”。1260年，阿拉伯人掌握了火药的制造和使用方法，用火药推动的弩箭被称作“中国箭”。而英、法等欧洲各国则直至14世纪中期才有应用火药和火器的记载。