6月5日零时15分，山本命令栗田健男的巡洋舰掉头西撤，又给近藤信竹和南云忠一补充下达了与主力舰队会合的命令。至此，被山本五十六寄予厚望的中途岛战役以日本的惨败结束。
掩护运输舰的水面舰艇向中途岛快速前进，轰炸这片环礁。
当天晚上，主力部队和日本第1航空舰队的水面舰艇要伺机同美国航空母舰作战。
在南云的机动编队中，只有“飞龙”号没有受伤，指挥官是山本的好友山口多闻少将。接过航空舰队指挥权后，山口命令“飞龙”号上的舰载机向美军航母反击，最终将“约克城”号击沉。
17时55分，山本五十六收到了南云忠一发来的他不想看到的报告：“17时30分，‘飞龙号’被炸弹击中起火。”
山本不想撤退，他和参谋长宇垣缠经过商议后，给南云发去了一封颇有些奇怪的电报：“明天上午，友军部队能否使用中途岛的岸上基地？”
气太差了。从美军航母起飞的第四批次共50架轰炸机在抵达预定海域后，并没有发现日军航母。此时他们的燃油已经消耗到了极限，再不返航将无法飞回航母。但美军飞行员意外发现了一艘落单的日军驱逐舰（该舰此前奉命追击一艘美军潜艇，完成任务后正准备和主力舰队会合），寻着这艘驱逐舰的航向，美国人终于发现了北面的南云舰队。
南云舰队的霉运还没有结束。当美军飞机来袭时，大部分护航战斗机因燃料耗尽刚刚回到航母上加油，剩下的战斗机则远离舰队，去追击上一波来袭美军飞机去了。所以南云舰队的上空没有战斗机护航，于是猎杀航母的好戏上演了……
由于无线电静默，山本五十六和参谋能够了解的战况有限，但是他们一直在监听日本飞行员的无线电通信。即使听到到美国航母出现，“大和号”舰桥上的日本人仍然充满信心。
但是在早上10时50分，信号官递给总司令一张纸条，这是警戒舰指挥官阿部弘毅少将传来的无线电讯息：“受到敌人航母舰载机和陆基飞机攻击，‘加贺’号、‘苍龙号’和‘赤城号’起火。我们计划让‘飞龙号’与敌军航母开战。暂时向北撤退，重新集结部队。”
一名军官回忆道，当山本五十六读到这一消息时，他叹息了一声，然后一言不发地把纸条递了回去。他和其他军官都惊呆了，情绪一时变得“晦暗失落”。
19时15分，他又致电南云，命令他率领第1航空舰队其他水面舰船向东搜索美军航母，并采取夜间行动将其击毁。然后他命令主力舰队向中途岛驶去，并命令栗田健男的巡洋舰舰队攻占中途岛。
南云没有执行山本的命令，当他意识到四艘航母都已经无法挽回时，命令驱逐舰发射鱼雷将它们击沉，然后命令舰队向北撤退。21时30分，他向山本如实汇报了一切。
山本五十六和联合舰队的参谋们对南云的做法十分不满，不过这刚好给他们提供了一个借口——将这次海战失利的责任全部推到南云的头上。山本五十六命令近藤信竹接过南云忠一的指挥权，然后让其率领舰队转向东追击美军航母。他还告诉近藤，5日凌晨1点之后，他们将与敌人发生激战。
南云忠一看到这份命令后情绪相当激动，他拒绝交出指挥权，并让舰队继续向西北行驶。
山本的决心很快也发生了动摇。天亮后，己方薄弱的防空能力一旦遭遇美军航母的打击将会是毁灭的。宇垣缠和参谋们现在也不得不坦然面对失败的现实。整个舰队最危险的是栗田健男指挥的巡洋舰舰队，他们正奉命驶往中途岛，在没有空中掩护的情况下用舰炮轰击岛上美军设施。一旦天亮后，他们就会成为美军岸基飞机的猎物。
山本将军的文书军士野田满春回忆说：“军官们感到迷茫，全都耷拉着脑袋，面面相觑，嘴巴紧闭……无法言说的死寂、阴郁和恼恨没有让他们落泪。南云忠一没有发来任何消息，他那时正在把司令旗从‘赤城’号上转移到一艘巡洋舰上。他死了吗？参谋人员都不愿承认这场战役已经失败，开始集体讨论对策。一些人提出的策略不切实际，另一些人则鲁莽冒进，所有人都想孤注一掷。”
主力部队距离太远，无法及时提供直接的援助。此外，由于主力部队缺少空中掩护，即使援助可能也起不了作用。但是舰队把航速提高到了20节，开始全速向东行驶。
“大和号”高耸的天线向日本舰队的不同作战单位发送了新的命令——
远在北方负责掩护阿留申群岛登陆部队的小型航母舰队接到的命令是迅速向南行驶，加入日本第一航空舰队。
运兵船奉命脱离舰队，向北行驶，离开中途岛飞机的攻击范围。