还有一个问题曾使巴顿大力恼火，愤愤不已。在西西里战役中，盟国空军第一次大规模直接支援地面作战，但由于缺乏实战经验和指挥上的夫误，空中行动屡遭挫折。如前所述，7 月9 日夜间，空降部队进行的第一次行动以失败而告终，空降部队大部分没有抵达目的地。事隔两天，悲剧又一次重演，空降行动再次惨败，23 架飞机坠毁，损失近400 人。盟国空军的行动不仅没有达到预期效果，未能给地面部队提供必要的空中支援，反而多次发生误炸地面部队的事故，巴顿的部队曾多次遭到己方飞机的轰炸，造成了重大损失，巴顿本人也差一点险遭不测。这真是雪上加霜。巴顿气愤他说：“我倒是要问一问这些空军老爷，他们的立场究竟站在哪一边。”
巴顿攻克巴勒莫之后，8 月初挥师东向，进军墨西拿。在这里，巴顿部队陷入了空前的困境。西西里北部沿海地区山石林立，地形复杂，德军装甲部队凭借丰富的经验和有利的地形，进行了拼死的抵抗。巴顿部队每前进一步都要付出极大的代价，部队大量减员，进展十分缓慢。碰巧，此时又发生了多起盟国空军误击美军地面部队的事故，巴顿的司令部也受到空袭的威胁。就在此时，巴顿发现了一个更令他不安的情况，许多显然没有受伤的人被大批运送到后方医院，并且有增无减。这种情况在第1 装甲师最为明显。从战斗记录来看，第1 师是巴顿最信任的一支部队，作战勇猛，敢打敢冲，屡建战功。该师师长艾伦是一员有胆有识的虎将，一向受到巴顿的倚重。但他脾气暴躁，待人傲慢，常常好自作主张。副师长罗斯福是富兰克林·罗斯福总统的儿子，他平易近人和富有人情味的作风深得士兵们的崇敬，也是一个个性很强的军人。两个人之间产生了纠葛，并各有一帮支持者。在他们的溺爱和袒护下，该部队居功自傲，目无法纪，蔑视其它部队，并产生出一种自怜情绪，许多人不断跑医院，蹲病房。他们的行为在全军造成了极恶劣的影响，使巴顿不得不分心去处理这一问题。最后，巴顿打算忍痛割爱，将他们两人同时解职。
以上一系列问题已经闹得巴顿心烦意乱了，而英国BBC 广播电台的无中生有更使他怒火中烧。英国的广播充满了狭隘的民族主义情绪，他们无事生非，大肆宣扬：在西西里岛，英国官兵正在浴血奋战，承担了大部分战斗，而美军却躲在巴勒莫豪华的王宫里，“一边喝葡萄酒，一边洗海水澡”。在西西里炎热的夏季里，一身“热血与豪胆”的巴顿就是在这种煎熬之中度过的，巴顿把这称之为“一场剧烈的身心折磨”。他已经筋疲力尽了，忍耐力和自我控制的能力都达到了极限，数不清的矛盾冲突开始使他的心理天平倾斜了。打耳光事件就是在这时发生的，一发而不可收拾。
8 月3 日，对于第1 师的混乱情况记忆犹新的巴顿在通往前线去的路上发现了指示通往第15 后送医院去的路标，他马上叫司机米姆中士把车开到医院去。本来，这次偶然的探访与往常没有什么不同——真诚的问候、深切的同情以及赠送紫心勋章等等。但正当他热情洋溢地与伤病员交谈的时候，他发现了艾伦部下一个名叫查尔斯·库尔的士兵，蹲在帐篷附近的一个箱子上，显然没有负伤。巴顿问他为什么住院。他回答说：“我觉得我受不了了。”医生说他得了“急躁型中度精神病”，这是第三次住院了。巴顿听罢大怒，多少天积累起来的火气一下子发泄出来，他痛骂库尔，用手套打他的脸，并大声吼道：“我不允许这样的胆小鬼躲藏在这里，他的行为已经损坏了我们的声誉！”巴顿的所作所为使在场的医护人员都感到十分震惊。
由于当时战事吃紧，这一事件没有立即引起反响，巴顿也没有把它当回事，只是在日记中写道：“我遇到了一个胆小鬼，我把他赶出了医院。”8 月5 日，巴顿向高级军官发布了一份备忘录：
我注意到，一小部分士兵跑到医院，说自己神经紧张，不能参加战斗。这些人是胆小鬼，砧污了我军的荣誉，对于那些留守阵地坚强地承担作战危险的同志也是一种污辱，而他们却把医院当作避难所。
你们要采取措施，此类人员不要送往医院，而是在各自的部队处理。那些面对敌人胆怯而不愿作战的人员将由军事法庭进行审判。
但事情并没有就此结束。战局仍然不乐观，敌人按预定方案边打边退，第1 师似乎在被敌人牵着鼻子走，进展极其缓慢。巴顿人为，艾伦及其第1师已经使他倒够了霉，现在必须利用北翼的恃拉斯科特的第3 师进行决定性的进攻。但是，在这条沿海路线上，德军已经控制了所有的山脊，占据了有利的地理位置，使第3 师的陆路进攻严重受挫。不得己，巴顿命令特拉斯科特进行两栖登陆战。但9 日，德国飞机将一艘用于运送登陆部队的登陆艇炸毁，使行动延误了24 小时。到10 日上午，巴顿认为，事情已经不能再拖延了，必须在当天晚上执行登陆计划。就在这天上午，巴顿下令解除了艾伦和罗斯福的职务。巴顿认为，对于一位职业军人来说，这仅次于被判处死刑。带着这种焦虑不安的心情，巴顿于中午驱车赶往前线。
下午1 时30 分，巴顿在行车途中发现了通往第93 后送医院的路标，马上命令司机把车开过去。于是又发生了下面的一幕。
巴顿正在与士兵们进行通常的闲谈，赞扬他们的勇敢精神和业绩。但凡是熟悉巴顿的人都发现，他神情紧张，不像往常那样热情诙谐，突然，他发现一名未受伤的士兵住在医院里，顿时变得冷酷无情。此人叫保尔·贝内特，患有“炮弹休克症”。他缩成一团，哆哆嗦嗦地回答巴顿的问话：“我的神经有病，我能听到炮弹飞过，但听不到它爆炸。”说罢便哭泣起来。巴顿勃然大怒，大声叫骂：“他妈的，你的神经有毛病，你完全是个胆小鬼，狗娘养的。”接着，巴顿打了他耳光，吼道：“你是集团军的耻辱，你要马上回去参加战斗，但这大便宜你了，你应该被枪毙。事实上，我现在就要枪毙你！”说完，巴顿抽出手枪，在他眼前晃动。当巴顿走出病房还在向医生叫喊，要他们把狗杂种送出医院去。
以上便是打耳光事件的来龙去脉。总之，巴顿之所以采取这种粗鲁幼稚的举动，从而酿成了他的个人悲剧，除了他自身的严重缺陷之外，主要是由于他所承受的来自各方面的压力太大，远远超出了他的承受能力和忍耐力，使其心理的天平急剧倾斜，最终完全失去了控制，导致了他歇斯底里大发作，使其性格中的所有弱点均暴露无遗。
除此之外，还有一个因素对于巴顿的粗鲁举动有直接影响：他对“战争恐惧症”问题缺乏科学的认识和理解。从严格的意义上说，“战争恐惧症”是在二次世界大战中才真正得到了医学界的认可。医学家认为，在战争中，所有的人都会在勇敢与胆怯之间摇摆。当出现轻微的恐战迹象时，短暂的休息就可以使人得到恢复。但如果神经紧张超过了限度，任何人都会垮掉。当然，这个问题很复杂，一般说来，训练有素、纪律严明和教育良好的人要比智力低下、心理失衡的人具有更强的控制恐惧的能力。因此，对待“战争恐惧症”不能采取简单粗暴的做法，特别是高级将领。对于部队，他应该采取科学的办法保持和提高将士们的战斗精神。对于患有战争恐惧症的人，轻者，应遵照医嘱使其得到必要的调整，重者则必须尽快送医院，这一方面可以使病人及时得到医治，另一方面又能防止恐惧情绪在军中蔓延。但是，巴顿的军旅生涯植根于第一次世界大战之中，他明显地带有那个时代军人的痕迹和偏见，他认为，一个军人必须英勇无畏，视死如归，不能表现出丝毫的动摇和怯懦，如果一个人的精神垮掉了，那么他就是个“上帝诅咒的胆小鬼”。在他的眼中，在战场上畏缩不前和开小差的人都是军人中的败类，对他们采取严厉的惩罚是为了把他们从灾难中拯救出来，因此不仅是公正的，而且是人道的。正是由于他采取了简单粗暴的举动，由此引起了严重的后果，几乎毁了他辉煌的军旅生涯。
“打耳光”事件发生后，巴顿内心也感受到自责，但由于战事紧张，他很快就把这件事忘掉了。但事情的发展完全出乎他的意料。
两天之后，第2 军参谋长基恩少将和军医官阿内斯侍上校来见布莱德雷。阿内斯恃向布莱德雷汇报了“打耳光”事件的详细经过，并递交了一份有关报告，布莱德雷对此十分震惊，忙问基恩是否还有人知道这份报告。当得知无人知晓后，马上指示基恩。“用信封把文件封好，写上只能由我和你启封，然后把它锁在我的保险柜里。”虽然布莱德雷对巴顿的做法十分反感，并有责任向艾森豪威尔汇报此事，但他选择了忠于巴顿的作法，他认为，应该遵循“不要相互残杀”的原则。
但没有不透风的墙。很快，巴顿打人的消息就传遍了第7 集团军，新闻界也议论纷纷。阿内斯特上校见布莱德雷不愿介入此事，便通过其它途径把报告直接交给了艾森豪威尔。
艾森豪威尔看到报告后感到既惊讶又棘手：此刻，巴顿将军正以征服者的姿态进入墨西拿城，全世界都在向他欢呼，意大利战场上还有许多更艰巨的任务等待他去完成。如何在这一时刻去处置一个十分特殊的人物呢？为了慎重起见，艾森豪威尔将此事严格限制在内部范围，他指示卫生顾问佩林·朗中校单独进行一次调查，调查结果只向他一人汇报。同时，他以个人名义给巴顿写了一封信，严厉批评了巴顿的“卑鄙”行为，并责令巴顿：如果情况属实，必须去向被打者道歉，向所有在场的医护人员和伤病员道歉，而且还要向整个第7 集团军，一个部队一个部队地道歉。事后，有人曾责怪艾森豪威尔的这一处理方式是轻描淡�