Thoát Hoan giao cho Ô Mã Nhi chỉ huy thủy quân, A Bát Xích chỉ huy quân kỵ bộ, Phàn Tiếp mang quân hộ vệ cho y đi theo sông Đuống, rầm rộ tiến quân đến Thăng Long. Phía bên Đại Việt, Hưng Đạo vương cho dựng các phòng tuyến ở cửa Đại Than (Bắc Ninh), sông Đuống để ngăn quân Nguyên, vừa đánh vừa lui.

Quân Nguyên dễ dàng vượt qua các phòng tuyến của quân Đại Việt tiến vào Thăng Long. Cánh quân phía tây của Ái Lỗ chỉ huy cũng vừa kịp lúc kéo đến Thăng Long hội binh với Thoát Hoan. Nhưng thành Thăng Long bây giờ chỉ còn là "vườn không nhà trống".

Thoát Hoan tức tốc phái Ô Mã Nhi đuổi theo vua Trần bằng đường thủy còn y dẫn bộ binh đuổi theo phía sau. Nhớ lại thất bại nhục nhã lần trước, Ô Mã Nhi cay cú bắn tin đe dọa nhà vua: "Ngươi chạy lên trời ta theo lên trời, ngươi chạy xuống đất ta theo xuống đất, ngươi trốn lên núi ta theo lên núi, ngươi lặn xuống nước ta theo xuống nước". Nhưng hắn tìm mãi không được vua Trần, nhân lúc đi ngang qua Chiêu lăng của thượng hoàng Trần Thái Tông ở phủ Long Hưng (Thái Bình) hắn tức tối sai quân lính quật mộ lên, trên đường đi hễ bọn giặc thấy làng mạc là đốt phá, gặp ai thì giết người đó và cướp bóc không chừa thứ gì.

Truy đuổi vua Trần thất bại, Thoát Hoan và Ô Mã Nhi về lại Thăng Long. Lúc này Thoát Hoan vẫn chưa hay biết thuyền lương đã bị đánh đắm, hắn sai Ô Mã Nhi đem chiến thuyền quay lại đón Trương Văn Hổ. Hưng Đạo vương biết tin này muốn đích thân mang chiến thuyền đi đánh Ô Mã Nhi.

Yết Kiêu can ngăn:

- Đại vương, quá nguy hiểm! Hay là để nô tài đi cho. Ngài là chủ soái ba quân, không thể dễ dàng dấn thân vào nguy hiểm.

Hưng Đạo đáp:

- Hai năm trước bổn vương đã từng giao chiến với thủy quân của Toa Đô, nhưng đám đó chẳng qua cũng chỉ là quân ô hợp, chắp vá chứ không hề thông thạo thủy chiến. Bây giờ thì khác, Hốt Tất Liệt đã tuyển chọn và đầu tư kĩ lưỡng cho thủy quân Nguyên trong suốt hai năm qua nên chắc chắn là lần này bọn chúng tinh nhuệ hơn rất nhiều. Nếu ta không tận mắt nhìn thấy thì làm sao phá giặc?

Yết Kiêu đáp:

- Nô tài lo rằng giặc sẽ tập trung đánh vào thuyền chủ soái.

Hưng Đạo vương đáp:

- Đúng vậy. Chúng ta vừa đánh vừa lui để chúng đuổi theo. Nếu ta không giao chiến với giặc làm sao ta biết thủy quân của chúng có tinh nhuệ trong thực chiến hay không? Nếu thuyền giặc không truy sát ta sao ta có thể biết được thuyền chiến đi nhanh hay chậm? Thấm nước bao nhiêu? Sao có thể thấy rõ khả năng lái thuyền của binh sĩ thủy quân giặc? Cung nỏ hỏa lực thế nào? Khi chúng giao chiến với chúng ta những thứ này sẽ lộ ra.

- Thất bại của Khánh Dư ở Vân Đồn một phần là do ông ấy không có cơ hội do thám thực lực của giặc từ trước để nghiệm ra điểm mạnh, điểm yếu của chúng, còn giặc lại cậy thế thuyền to người đông mà chiếm thế thượng phong. Nên nhớ thủy quân của chúng mới vừa được huấn luyện, chưa quen thủy chiến. Thuyền có thể đóng trong vài tháng, nhưng bản lĩnh thủy chiến phải được tích lũy qua thực chiến trong nhiều năm mới có được, chính vì vậy chắc chắn sẽ có điểm yếu. Khi những điểm yếu của địch lộ ra, sau này ta có thể dễ dàng khắc chế chúng.

Nói rồi Hưng Đạo vương tự mình dẫn thủy quân đón đánh Ô Mã Nhi ở cửa Đại Bàng (Hải Phòng ngày nay). Chiến thuyền Đại Việt nhỏ gọn, cơ động, từ nhiều hướng đánh tới, còn thuyền của quân Nguyên to lớn, nặng nề và chậm chạp nên chúng phải chống trả rất vất vả. Vượt qua được cửa Đại Bàng là đến Đồ Sơn, chúng lại bị tập kích lần nữa. Giặc tử thương nhiều và không thông thạo đường đi nên rất lâu sau mới đến được cửa An Bang rồi dừng chân đợi thuyền lương của Trương Văn Hổ tại đây.

Cùng lúc đó, vua Trần Nhân Tông cử Hưng Ninh vương Trần Tung (anh trai của Hưng Đạo vương) đến Thăng Long hẹn ngày ra hàng, quân Nguyên đang lúc mệt mỏi hay tin triều đình nhà Trần muốn đầu hàng thì vô cùng vui sướng. Nhưng đó chẳng qua chỉ là kế trá hàng của nhà vua, mục đích làm cho chúng ngày đêm thấp thỏm mong đợi, mất hết nhuệ khí. Quả nhiên đúng như dự liệu của nhà vua. Thoát Hoan đợi thuyền lương mãi chẳng thấy, cũng chẳng có ai đến hàng, nhận thấy đóng quân ở Thăng Long lâu ngày sẽ không có lợi nên y bỏ Thăng Long quay về Vạn Kiếp (Thoát Hoan từng cho dựng một căn cứ vững chắc ở Vạn Kiếp để chiến đấu lâu dài).

Nhân Tông hay tin quân Nguyên quay về Vạn Kiếp thì nhanh chóng bố trí quân mai phục ở nhiều nơi suốt đoạn đường từ Thăng Long đến Vạn Kiếp để đón đánh chúng, giặc bị tấn công liên tục trên đường đi, phải nỗ lực lắm chúng mới đến được Vạn Kiếp. Còn ở An Bang, Ô Mã Nhi cũng không khá khẩm gì. Hắn cho quân lính đi tìm khắp nơi nhưng không thấy chiếc thuyền lương nào, mãi sau gặp lại bọn tàn binh của Trương Văn Hổ do vua Trần thả ra báo tin thì Ô Mã Nhi mới vỡ lẻ ra chuyện thuyền lương đã bị quân Đại Việt đánh chìm từ lâu. Hốt hoảng vì sợ bị Thoát Hoan trị tội, hắn vội sai quân lính đi lùng sục khắp nơi để tìm bất cứ thứ gì ăn được rồi đến Vạn Kiếp hội quân với Thoát Hoan.

Tin thuyền lương bị đánh chìm khiến tinh thần quân Nguyên sa sút thảm hại. Cũng trong khoảng thời gian này những đội quân cảm tử của quân dân Đại Việt ngày đêm tập kích, quấy phá căn cứ Vạn Kiếp khiến cho giặc không lúc nào được nghỉ ngơi, vô cùng hoang mang. Thoát Hoan tức giận định tung quân đánh một trận sống còn với Đại Việt, các tướng dưới trướng của y can ngăn: "Ở Giao Chỉ không có thành trì để giữ, không có lương thực để ăn mà thuyền lương của Trương Văn Hổ lại không đến. Vả lại, khí trời đã nóng nực, sợ lương hết, quân mệt, không lấy gì để chống giữ lâu được, làm hổ thẹn cho triều đình, nên toàn quân mà về thì hơn".

Thoát Hoan cay đắng thừa nhận:

- Giao Chỉ rất khác so với những nơi khác. Những vương quốc khác xây thành kiên cố, dựa vào thành cao hào sâu mà thủ thì bọn Giao Chỉ chỉ xem kinh thành như cái áo rách, muốn vứt thì vứt. Đúng là một đất nước quỷ quái. Đường đường là thái tử Đại Nguyên mà lại liên tục thất bại trước một đất nước nhỏ bé như hạt gạo.

Thoát Hoan chán nản, lệnh cho toàn quân rút về nước. Ô Mã Nhi và Phàn Tiếp dẫn thủy quân rút lui theo đường sông Bạch Đằng, Trình Bằng Phi dẫn quân kỵ đi men theo bờ hộ tống quân thủy. Còn trên bộ, Thoát Hoan và Tịch Đô Nhi dẫn quân về nước theo hai ngả đông - tây như lúc tiến vào Đại Việt.