扫罗把非利士人赶出去后，没有就此罢休。他明白与非利士人最后决战的关头还未到来，即使非利士人被以色列人彻底打败，在迦南，以色列人仍处于异教民族的汪洋大海之中。
为了进一步的斗争，扫罗招兵买马，网罗有识之士，他任命了具有统兵才能的堂弟押尼珥为元帅，为最后扫平迦南打下了基础。
他经常攻击以色列国境周围的仇敌，先后打败了摩押人、亚扪人、以东人和琐巴诸王。但是除非利士人外，当时以色列面临的最大威胁是住在西奈山和迦南之间广阔土地上的亚玛力人。
几年来，扫罗因为忙于对付其他邻近的民族，没有顾得上攻击亚玛力人，这使火祭司撒母耳很为不满。
撒母耳向扫罗传达上帝的旨意，要他去攻打亚玛力人，将他们的男女老幼和牲畜等统统杀死。
于是扫罗在提拉因聚兵二十万，加上犹大兵一万，前往亚玛力城，在山谷中埋伏下来。因为当年以色列人出埃及时，基尼人曾恩待过他们，于是扫罗派人告诉基尼人，要他们赶快离开亚玛力城，免遭杀戮。基尼人就离开了亚玛力城。
扫罗攻打亚玛力人，从哈腓拉直到埃及前的书珥，生擒了亚玛力王亚甲。他下令将亚玛力人全都杀尽，唯独留下了亚甲。他又将贵重物品和健壮的牛羊都留下，将不值钱的东西都毁尽，将瘦弱的牛羊都杀尽。
扫罗的做法违背了上帝的旨意，上帝对撒母耳说：“我后悔立扫罗为王，因为他不遵守我的命令。”撒母耳为此十分忧愁，终夜向上帝哀求。
第二天早上，撒母耳起来，准备迎接扫罗。有人告诉他说，扫罗到了迦密，在那里立了纪念碑后，又转身去吉甲。于是他赶到了扫罗那里，扫罗对他说：“我已遵守了上帝的命令。”撒母耳反问道：“那这些牛羊的叫声是从哪来的呢？”扫罗说：“是百姓从亚玛力人那里带来的，因为他们爱惜这些上好的牛羊，要献与上帝。其余的，我们全都杀尽了。”撒母耳发怒道：“住口！以前你出身卑下，上帝立你为王，但是你竟不遵守上帝的命令，忙着掠夺财物，做上帝所憎恶的事。”扫罗辩解道：“我实在听从了上帝的命令，擒了亚玛力王亚甲，杀尽了亚玛力人。百姓在当灭的物中留下了最好的牛羊，为的是要在吉甲献给上帝的。”撒母耳说：“上帝是喜欢你献的祭，还是喜欢你听他的话呢？听命胜于献祭，顺从胜于献上最好的羊脂，悖逆与行邪术同罪，顽劣与拜虚神、偶像同罪。你既厌弃耶和华的命令，耶和华也厌弃你当王。”
扫罗认识到自己犯了罪，对撒母耳说：“我有罪了，我因惧怕百姓，听从他们的话，就违背了上帝的旨意和你教导的话。现在求您赦免我的罪，同我回去，我好敬拜上帝。”
撒母耳拒绝了他，转身就走，扫罗上前扯住他外袍的衣襟，结果外袍被撕破了。
撒母王对他说：“这样看来，上帝今天使你与以色列国断绝，将这国赐与比你更好的人。以色列的人能者必不会说谎，也不会后悔，因为他与世人大不一样。”
扫罗苦苦哀求道：“我有罪！尽管如此，求你在长老和以色列人面前抬举我，同我回去，让我好好敬拜上帝。”最终，撒母耳勉强答应了他。
到了吉甲后，撒母耳下令将亚甲带到祭坛前来，撒母耳说：“既然你使许多母亲丧失了儿子，那么现在该你母亲丧子了！”于是，撒母耳在上帝面前杀了亚甲。
随后，撒母耳与扫罗分手，回了拉玛。但撒母耳始终为扫罗感到悲伤。
上帝对撒母耳说：“我厌弃扫罗为王，你不必再为他悲伤。你将膏油盛满了角，去伯利恒的耶西那里，我在他众子之中选定了一个为王。”撒母耳怕扫罗知道后会杀他，上帝就叫他带一头牛犊去那里献祭，请耶西来吃祭肉，然后膏立他的一个儿子。
于是，撒母耳照上帝的指示到伯利恒献祭，并派人请耶西及其众子自洁，来吃祭肉。
耶西带着儿子们来了，但这七个儿子上帝都没选中，于是撒母耳问耶西说：“你的儿子都在这里了吗？”耶西答道：“还有个最小的，名叫大卫，现在在外面放羊。”撒母耳派人将大卫叫来，只见他面色红润，双目清秀，容貌俊美，上帝选中了他。于是撒母耳就用角里的膏油，当着他哥哥的面膏立了他。从此，上帝的灵与他同在。
完事后，撒母耳起身返回了拉玛。
自从扫罗被上帝遗弃后，恶魔经常从上帝那里来扰乱他。扫罗的臣仆建议他说，找一个善于弹琴的来，等恶魔降临到你身上的时候，让他弹琴，你就会好。扫罗便下令寻找会弹琴的人，他的臣仆告诉他，伯利恒城耶西一个牧羊的儿子善于弹琴，并且勇敢善战，说话得体，相貌英俊。于是扫罗派人去将大卫找了来。
大卫带着父亲的礼物来见扫罗，扫罗很喜欢他，就将他留在身边当侍卫。每当从上帝那里来的恶魔降临到扫罗身上的时候，大卫就弹琴，恶魔便离扫罗而去，扫罗顿觉舒畅。
过了一些时候，大卫又回家继续牧羊。