刘赐的这支舰队着实是太过庞大，所以很惹人注意，而天亮之际正是渔民们大规模出海捕鱼的时候，所以在钱塘湾、松江一带的渔人有不少人看见了这支舰队的去向。
汪直听说刘家军“从钱塘湾驶出，朝东北方向掠过松江沿岸，然后冲出大洋，直朝东方而去”，这无疑印证了汪直的猜想，他一时间怒不可遏，但是他很快平息了怒火，他看向那已然破碎的同济会坞堡，还有围攻着坞堡的那一万多名麾下将士，他一时陷入了犹豫之中。
五峰船主几乎从来没有犹豫的时候，但是眼下他着实被逼入了进退两难的境地。
他知道刘赐的那支舰队只有一个可能的去向，就是他的大本营、日本的平户藩。
他知道“刘家军”必定是知道打不过他，所以转头直扑向他的地盘，试图以此致胜。
汪直在平户岛上的大本营是汪直的根脉所在，也是他进行走私贸易的心脏，他的商贸帝国的所有事务都在平户藩集中料理，那里不仅有着诸多要害的贸易设施，而且还储存着他所有的文书、账簿，如若平户藩被毁，就等于他贸易帝国的心脏被重创，将造成不可挽回的损失。
而且平户藩还有着他的亲眷，他最疼爱的妻子儿女都在那里，他自是决不能看着平户藩落入敌手。
在此前汪直并不担心这支“刘家军”可能会进攻平户藩，尽管他率领主力围攻双屿港，但是在平户藩他仍是留下了充足的防御力量，他认为凭“刘家军”的实力不足以打下平户藩，但是眼下他不这么想了，他意识到刘家军可能能够打下平户藩，因为刘赐带走了那六千名建州兵。
建州兵是大明、乃至眼下整个世界最精锐的野战军队，这六千名虎狼将士足够摧毁任何地面上的防御，徐活佛在双屿港上见识过建州兵的厉害，这支辽东野战军队能够以一敌五，因此汪直也了解了建州兵的厉害，他觉得这些建州兵如若在平户藩登录，恐怕足够摧毁他们的防御。
汪直千算万算，始终算漏了这一点，他着实是没想到敌人会走这一步棋。
眼下汪直陷入两难的抉择，他可以选择把双屿港打下来，再掉头回去救援平户藩，但是眼下打下双屿港还需要至少两个时辰，那时候平户藩可能已经陷落。
他也可以放弃攻打双屿港，领军回去收拾了刘家军，再回来平灭双屿港，但是眼下他已经在双屿港耗费了这么大的气力，已经损失了数十艘战舰，让他撤军，他又心有不甘，也担心损伤将士们的士气。
最终汪直做出了一个折衷的抉择，他毅然地留下一艘核心巨舰，让这艘巨舰率领五十艘战舰，和近一万名兵士留守，继续围困双屿港，然后他率领“五峰船”和包括“鬼头船”、“鹰船”在内的五艘核心巨舰，还有两百艘战舰转头回援平户藩。
汪直的这个决定是较为平稳的，这堵住了倭寇内部的分裂声音，因为他们已经围困了这双屿港两个多月，耗费了这么大的气力，如果此时要撤走围困，回援他们的老巢，绝大多数的将领是不同意的，因为这意味着要放过同济会，他们的围困一撤走，同济会上至姚无忌，下至底层的战士，还有那“姚公子”的亲眷，必定是尽数逃走了，这般“前功尽弃”的结局，这些嗜血的海贼势必是反对的。
所以汪直只能留下了部分力量继续围困双屿港，但他并不因此感到存有疑虑，他对他眼下回援平户藩的舰队的实力仍有绝对的信心，他仍有五艘核心巨舰，仍有两百艘几乎毫发无损的中型战舰，他不认为那只有四十艘战舰的“刘家军”有与他匹敌的可能。
这一战至今，汪直大概损失了五分之一的实力，他的八艘核心巨舰损失了两艘，并损失了数十艘中型战舰，如今他又留下一艘核心巨舰和五十艘中型战舰，等于说他带走的这支舰队“折损”了三分之一的实力，但是他毫不介意，他觉得只要他的脚还踩在他的“五峰船”的甲板上，他就有必胜的信心，因为他这艘“五峰船”是他建立帝国的根基，这艘巨舰出征至今十年来，这十年来这只海上巨兽从未败过，从来只有这只巨兽吞噬敌人，而没有敌人能够撼动这只巨兽分毫。
汪直的决定飞速地传递下去，他的“五峰船”很快地率领五艘核心巨舰，两百艘中型战舰，还有四万名将士，浩浩荡荡地驶离了双屿港，再次驶入大洋，直奔东北方向的日本平户藩而去。