在后金军逐渐撤出关外的同时，明军两支军团也在尾随而来。
一支是即卢象升秦良玉吴开先东征兵团，由督师卢象升带领下，三军在迁安会师后就根据吴开先的建议一路北上从桃林口出关，在燕山中的崇山峻岭中穿行准备堵截后金兵和掳众。
另一支是关宁兵团，以阁老督师孙承宗为首，麾下有山海关的官维贤李维翰部，马世龙部，尤世禄部，前屯的孙元化孔有德兵团和锦州的祖大寿兵团，人数约五万人。但这支兵团基本是黄台及所说的坐兵，畏战心理严重，山头多又互不信任，一路又以金兵窥探缺粮少饷故意拖延时间，故逡巡半个月未抵遵化城下。
天启十年二月十八日，关宁军团在拿下迁西空城后终抵遵化城下，随行的还有十门重达两千斤的红夷大炮，这是徐光启弟子孙元化亲手监制，按宁远城头红夷大炮原样打造的攻城重器，操炮则由孙元化手下的孔有德部担任。火炮威力巨大，孙承宗对其寄予厚望。
关宁军来到遵化城下，祖大寿提议说建虏强悍，前番覆没之刘之纶部可以佐证，为避免过大损失，建议将东南西三面围住，只留北面以使守军思逃而无战心，日久金兵必逃。孙承宗和众将合议后觉得此法可行。于是安排马世龙攻东门，尤世禄攻西门，祖大寿部在北门外围埋伏。孔有德部主攻南面，该部以红衣炮击打城垛，城垛无不立碎，守军无可凭依，于是用麻袋盛湿土充当城垛，屡毁屡建，而阿敏、纳暮肽、图尔格、汤古代四人领军拼死抵抗，关宁军一时不能攻入。
攻城战因此陷入胶着状态。
......
遵化城里，随着明军的到来，守军的紧张情绪也绷紧到了极限。阿敏也不寻欢作乐了，昼夜紧缩眉头在城中巡视，兵士稍有懈怠恐慌便施以严惩，是以人人不敢放松。阿敏随后又调整了部署，以两个金兵带一个降金汉人在城上巡逻防卫。城中降兵降官也被打乱建制散入金营中。为打消降人的疑虑，阿敏说这是为了他们更好的融入。
十九日，在明军轰城的第二天三更时分，在人睡得最熟的时候，随着连续急促的敲钟声，军营中，假寐的后金兵纷纷取出暗藏的利刃，隔着被子就把熟睡中的汉人降兵乱刀攮死；城头上，众多汉人降兵遭受突如其来的刀刺、锤击、勒颈、斧斫而死；个别警醒的逃过首轮突袭，也随即被有备而来的金兵用长刀硬弓杀死；在屠尽降金汉人后，后金兵又冲进其家中，将其妻儿老小蹂躏屠戮殆尽，尽取其金银财帛而走。遵化城中，一大批屈膝投降后金的变节者，包括都御史马思恭、兵备贾维钥、知府张养初、知州杨耀、都督李继春、内应朱应泰、柴通、卜文磺等和一千多降金汉丁死前做梦也想不到，将他们乱刀杀死的居然是他们顶礼膜拜又并肩戍守作战了四个月之久的后金主子。
这次屠杀后被称为“遵化长刀之夜”，究其原因，大概是少许留守降兵猜出黄台及的意图，又见遵化成为孤岛，大明大军压境，内心开始动摇，被阿敏布置的暗哨监听到。阿敏本来就很鄙视降官降兵，也知道堡垒最容易从内部攻破的道理，他生怕辽阳沈阳开关延敌的例子发生在自己身上，于是一不做二不休，将降金汉人尽数杀死，随后弃遵化而北逃。
次日关宁兵团照例轰击一天，见守军毫无动静，于是以重金赏格派出敢死队攀城而上查看，终于发觉了金兵弃城而走的事实，城中降金汉人尸横遍野的惨状也吓坏了关宁军，他们真没想到后金军是这样残忍无情，连早已投降的友军都下得了狠手。屠杀降兵铁一般的事实也教育了那些意志不坚定的官兵，在后来的大凌河围城战中起到了反面教材应有的作用。