1860年，美国的疆土、资源都有待开发，生活水准、文化艺术都渐渐提高，这是考验年轻人的时代；同样地，也是年轻人表现自己的良机，而最容易一展身手的就是商界。于是，成千上万的年轻人拥向商场，他们不但期望得到财富，更渴望借此途径来肯定自我，追求权力及地位，来实现自己的“美国梦”。
当时，洛克菲勒和克拉克组成的公司已初具规模，并积累了一些资金，他们想再开创一些新事业，却又不知该往哪方面进行。恰好在1859年8月，宾夕法尼亚州的第一家私人采油公司开张了，一夜之间，掀起了采油热潮。在克利夫兰时，洛克菲勒也曾为人运载过石油，知道其中的行情及可观的利润。他渐渐地心动，也想加入开采石油的事业，但他非常憎恶当时的商人在开采石油时的浪费及投机行为。后来，他经过慎重考虑，决定转向比较稳妥的炼油业。
1862年，每桶未炼的原油价值是三毛五至五毛五，而提炼的石油，可在沿海的市镇上卖到两毛三至三毛五一加仑（每桶有三十一点五加仑），不但如此，炼油的成本又很低，所以投资在精炼业完全是合算的。于是，炼油厂如雨后春笋般，一家又一家地在美国东北部各大城开张了。各大铁路公司也为了赚取运费，在每个石油转运的必经地铺设了新铁路，方便了开采石油和精炼石油业者。
在这种环境影响下，洛克菲勒要办炼油厂的信心更坚定了。正好当时有位叫安徒士的英国友人，擅长于将石油精炼成点灯用的煤油，他不但技术好，而且也是个有远见的人。安徒士认为煤油一定会取代其他点灯用的油脂，所以他希望脱离他所属的公司，自己投资创立一间炼油厂。他把心意告诉了克拉克。更巧的是，他与洛克菲勒在同一教堂做礼拜，因而相互认识，他也将此意转告于洛克菲勒。由于三人志同道合，就在1863年成立了安徒士·克拉克公司，专门提炼原油。
他们或许得到天时地利之便，在公司成立的同年，克利夫兰的铁路系统扩大，有直接的路线西通纽约市和大油田区，这两条路线不但便利了洛克菲勒新厂的运输工作，更因此替他带来了财富。
洛克菲勒将工厂建立在克利夫兰的郊区及水运要道上，他们起先只租了三亩地，后来买下了它，到1870年时又增加到六十亩地，最后增到一百亩。当时，安徒士负责一切技术工作，克拉克则从旁协助。提炼的方法很简陋，也很省钱，平均每五桶原油可炼成三桶点灯用的煤油。
1864年（也就是提炼油工厂成立的第二年），内战正进行得如火如荼，约翰的弟弟小法兰克·洛克菲勒去前线打仗，约翰也有心参战，但顾及家中的母亲与姊妹，以及刚成立的事业全依赖他做主，于是就放弃了参战的念头，选择在后方提供支援。虽然日后他对当时所资助的费用略有夸大，但实际上他确曾对前方的战友有所贡献。
同年，一件令人快慰的事情发生了，洛克菲勒遇到了他的心上人——萝拉·西洛夏·史贝尔曼。她是克利夫兰富商的女儿，人长得漂亮出众，是个容易亲近又聪慧的女子。她为人比洛克菲勒爽朗，也比他更有学问及见识。萝拉热衷教书，洛克菲勒沉迷于商业，他们两人在清楚地了解对方及仔细考虑之后最终决定在一起。他们于1864年9月8日成婚，婚后到尼加拉瓜瀑布等地度蜜月，回来后与父母小住一段时间后才搬出老家，开始独立生活。
那几年是洛克菲勒家族里最热闹的几年，他们的兄妹都相继成家立业。1864年，大弟威廉与麦拉小姐结婚，次年产下一子。小法兰克由军中退役，1870年与海伦·史考菲结婚。小妹玛丽安于1872年嫁给威廉·鲁得。约翰·洛克菲勒也于1866年喜获一女，取名伊丽莎白，昵称为贝丝。这几年，老洛克菲勒仍继续他神秘的卖药工作，洛克菲勒则真正当上了一家之主。
婚后，洛克菲勒与新婚妻子过着愉快而繁忙的日子。他们的生活圈子不大，接触的人多半都是在教会认识，因为他们夫妇常为教会服务，所以深得人心。
当时，洛克菲勒不但家庭生活愉快，事业也很顺利，贸易公司和炼油公司都有很好的生意，但因为目标不一致，内部的老板们常发生摩擦。洛克菲勒较有雄心，赞成不断地扩大工厂，因而常与思想保守的克拉克兄弟意见相左，尤其是炼油生意的兴旺，更使洛克菲勒产生扩张的决心。炼油厂本来只是副业，如今赚进的利润已超过主要的贸易公司，所以洛克菲勒更是决定要暗中朝此方向发展。
洛克菲勒痛恨浪费，他认为注意小节是成功的捷径。在这种个性的影响下，他对工厂任何的小事都不放过。在他的计算之下，他认为不要把水管、油桶这些附属品包给别人做，应该一切都由自己动手，这样才能省下更多的成本。于是，他不买外人的木桶，而是自己买林地，伐木、锯木、装桶，一步步完全自己操作，这种办法不但替工厂减低许多成本，无形中更创造出其他副业。他们一方面降低成本，一方面改进技术，使得自己的炼油公司在克利夫兰炼油同业间获得很高的地位。洛克菲勒和克拉克兄弟的争论终于白热化，克拉克的哥哥坚决反对洛克菲勒贷款增资，扩大工厂，而洛克菲勒却觉得只要不担风险，他要尽可能地贷款增资，他们最后在一个会议上同意将公司分解。
1865年2月2日那天，他们将克拉克·安徒士公司的股份拿来在股东中进行拍卖，规定由出价最高者买进所有的股权，他们请来一位律师主持拍卖会。克拉克由五百美元开价，洛克菲勒马上加到一千美元，然后轮流一千一千地往上加，加到七万美元的时候，气氛很紧张，克拉克说：“七万二。”洛克菲勒不甘心地叫道：“七万二千五。”克拉克跳起来，张开双臂大叫说：“这个生意是你的了！”说完，扬长而去。
26岁的洛克菲勒一夜之间就拥有了一间炼油厂。在2月15日那天，他在克利夫兰《前锋报》上声明“前安徒士·克拉克公司已被艾克赛尔逊公司购买”。由那天开始，安徒士不但是他的助手，也是他的合伙人了。
3月2日，克拉克·洛克菲勒合组的谷物公司也瓦解了。洛克菲勒终于摆脱了保守的克拉克兄弟，买进该公司，完全独立经营管理两家公司了。
虽然从克拉克兄弟手中买进两个公司需要消耗很大一笔款项，然而，当时洛克菲勒的炼油公司不但在美国已建立起知名度，就是在世界石油工业上也占有一席之位。于是，他更加勇往直前，大笔地贷款，不断地扩建工厂，并又与弟弟威廉合作开了一家炼油厂，命名为“标准石油公司”。1866年，更在纽约珍珠街181号新开一家“洛克菲勒公司”，专门经营石油出口的生意，由弟弟威廉负责。
采油的热潮由1864年延至1866年，然后，又一窝蜂地朝提炼业发展，直到1867年才慢慢平息下去。这几年间，各方面都有显著进步，技术、工具日渐地改善，尤其是运输的改进，原油的运输由马车改为利用油管运输。运输原油的公司不但建造了油管，还建造了油库，每次可以贮存五千至两万桶的原油。这一切的改进，使炼油业迈向现代化工业。
石油工业不但繁荣了美国的国内工业，还带动了国外贸易，成为美国国内工业的一枝独秀。因为采油业的发达，自然也带动了附属的炼油业，提炼工厂所需的成本又低，只需一万美元就可开家小厂，提炼过程又简单，所以开炼油厂的人比比皆是。当时小厂遍布各地，在竞争的当中分为以下数区：油田区、纽约区、匹兹堡区及克利夫兰区。但任何明眼人都可预料到，在这种生产过剩、竞争激烈的环境下，资金不足的小厂难免惨遭倒闭的命运。
那么，谁能在竞争中屹立不倒呢？照理说建在大油田区的炼油厂最得地利，但不幸的是该地的人工及其他资源较贵，以致成本反而偏高。反之，克利夫兰区的工厂却渐渐在竞争中脱颖而出，它的工厂资金足，人工、资源（有煤矿）便宜，产品的成本比大油田区低，离原油区的供应地也只有一百五十英里，比纽约和费城的公司更靠近原油区。再加上该地有宽轨铁路和伊利运河，相较其他区域的工厂运输上更为便利。
1866年至1867年间，石油工业初次进入到了不景气的时代。许多小油田都停止凿井，油田业呈现出怪现象，有些善于经营的油田，仍源源不断地出油，有些却完全停止了。这萧条的景象，像一阵风似地波及炼油工业，许多管理不当的小厂开始倒闭，就连资金雄厚的洛克菲勒也开始担心，他担心另一个大时代即将来临！