Đương thời, Trần Khánh Dư được đánh giá là một trong những hào kiệt thời Trần, danh tướng trí, dũng song toàn. Cuộc đời binh nghiệp đến với ông từ khá sớm, ngay khi cuộc kháng chiến chống quân Mông Nguyên lần thứ nhất (năm 1258) bùng nổ. Cuối tháng 1-1258, nhận thấy thời cơ phản công quân Mông Nguyên đã đến, vua Trần lệnh cho các tướng sĩ xung trận. Đích thân vua Trần Thái Tông và Hoàng tử Hoảng (sau này là vua Trần Thánh Tông) chỉ huy đạo quân thủy ngược sông Hồng đổ bộ lên Đông Bộ Đầu, tập kích vào tiền đồn phía đông của quân địch. Cánh quân bộ do Trần Khánh Dư chỉ huy từ hướng tây và nam đánh thọc thẳng vào đại bản doanh của chúng. Nửa đêm 28-1-1258, các cánh quân nhà Trần đều đã áp sát các doanh trại của địch mà chúng vẫn không hề hay biết. Lợi dụng lúc quân địch đang ngủ, canh phòng lơ là, Trần Khánh Dư hạ lệnh cho quân sĩ mở cuộc tiến công chớp nhoáng đánh úp, không cho quân địch kịp trở tay. Bị tiến công bất ngờ, đội quân của tướng Ngột Lương Hợp Thai nhanh chóng rơi vào cảnh náo loạn, người không kịp mặc giáp, ngựa không kịp thắng yên, tranh nhau chạy tán loạn theo trục đường cũ về hướng Bắc.
Sau chiến thắng quân Mông Nguyên này, Trần Khánh Dư được Thượng hoàng Trần Thái Tông khen là bậc có trí, dũng và được lập làm “Thiên tử nghĩa nam” (con nuôi của vua). Đất nước Đại Việt tạm thoát khỏi họa ngoại xâm nhưng tình hình tại các vùng biên viễn vẫn còn nhiều bất ổn. Trần Khánh Dư lại được nhà vua tin tưởng giao phó trọng trách chỉ huy quân đi đánh dẹp các cuộc nổi dậy của các thủ lĩnh miền núi, ổn định tình hình biên ải. Trên trận tuyến mới, ông đã lập công xuất sắc, được nhà vua và nhiều quan trong triều tin yêu. Tuy nhiên, sau đó, do mắc phải một lỗi lớn nên Trần Khánh Dư bị giáng hết quan tước và tịch thu gia sản. Đáng ra, theo luật lệ của triều đình, ông đã bị ghép vào tội chết, song cũng nhờ có công lao và uy danh mà Trần Khánh Dư chỉ bị đánh roi rồi ngầm cho quay về điền viên ở Chí Linh.
Trở về làm dân với nghề bán than suốt ngày rong ruổi trên sông, song “máu” nhà binh trong con người
Trần Khánh Dư vẫn không hề mai một. Ngày ngày, ông vẫn dùi mài binh pháp, đau đáu với những kế sách đánh giặc. Thế rồi, trời đã không phụ lòng người, vận may lại đến với Trần Khánh Dư. Tháng 10 năm Nhâm Ngọ (1282), vua Trần Nhân Tông ra ngự bến Bình Than và tổ chức họp với bách quan bàn kế chống giặc. Khi thuyền vua đang ngự trên bến Bình Than thì xuất hiện một chiếc thuyền chở đầy than đi ngang qua. Sử cũ chép rằng, khi nhìn thấy người đàn ông đầu đội chiếc nón lá sùm sụp, vận áo lụa ngắn đang đứng trên thuyền, nhà vua liền chỉ vào và hỏi các cận thần đi cùng: “Người kia có phải là Nhân Huệ vương không?”. Nói đoạn, vua lập tức sai người lấy thuyền đuổi theo con thuyền chở than đó. Đến cửa Đại Than thì thuyền của quan viên đuổi kịp, viên Quân hiệu đứng trên thuyền gọi lớn: “Ông lão kia, nhà vua có lệnh gọi ngươi”. Nghe vậy, Trần Khánh Dư điềm tĩnh trả lời: “Lão già này là người buôn bán, có việc gì mà gọi đến”. Viên Quân hiệu quay thuyền trở về tâu lại sự tình với nhà vua. Nghe xong, vua Trần Nhân Tông khẳng định: “Đúng là Nhân Huệ vương đấy. Nếu là người bình thường tất không dám nói như vậy”. Nói rồi vua sai người quay lại vời đón bằng được người đó đến bến Bình Than. Nhìn người đàn ông mình phủ kín bụi than, nhà vua xúc động nói: “Nam nhi cực khổ đến thế là cùng” rồi lập tức ban chiếu tha tội cho Trần Khánh Dư, ban áo ngự và mời ông cùng tham gia họp bàn việc binh với bách quan. Vẫn với tố chất của một tướng quân mưu lược, am hiểu binh pháp, tại cuộc luận bàn về kế sách chống giặc Mông Nguyên, Trần Khánh Dư đã hiến nhiều kế hay. Tư duy quân sự sắc sảo và những ý kiến cụ thể của ông được nhà vua và bách quan đánh giá cao. Sau sự kiện này, Trần Khánh Dư từ giã nghề bán than trở lại với chốn quan trường và được trao chức Phó đô tướng quân.
Vai trò của Trần Khánh Dư trong cuộc kháng chiến chống Mông Nguyên lần thứ hai (năm 1285) không thấy sử cũ ghi chép cụ thể. Chỉ biết rằng, sau khi cuộc kháng chiến này kết thúc, Trần Khánh Dư được cử ra trấn thủ Vân Đồn-một địa bàn chiến lược quan trọng của Đại Việt lúc bấy giờ. Vân Đồn là một hải cảng, người dân ở đây quen sống với nghề buôn bán, phong tục tập quán chịu nhiều ảnh hưởng của người phương Bắc, đặc biệt là cách mang mặc trang phục. Bởi vậy, khi đến trấn thủ ở đây, Trần Khánh Dư đã lệnh cho quân trấn giữ Vân Đồn không được đội nón của người phương Bắc vì sợ rằng “trong lúc đụng độ khó phân biệt được ta và địch”, đồng thời ông cũng yêu cầu quân lính từ nay phải đội nón lá của Ma Lôi (một làng chuyên làm nón ở Hải Dương), ai trái lệnh sẽ bị phạt.
Cuối năm 1287, quân Mông Nguyên chia làm nhiều cánh tiến đánh Đại Việt bằng cả đường bộ và đường thủy. Phó đô tướng quân Trần Khánh Dư được nhà vua tin tưởng giao chỉ huy đạo quân chặn đường tiến và tiêu diệt cánh quân thủy do Ô Mã Nhi và Phàn Tiếp chỉ huy. Quân Mông Nguyên sau khi đã vượt qua được các cửa ải tiền tiêu ở Mũi Ngọc và Vân Đồn, chúng chủ quan cho rằng quân Đại Việt đã bị đánh bại và đang rút chạy nên thúc nhau theo sông Bạch Đằng tiến sâu vào hợp với cánh quân bộ ở Vạn Kiếp theo đúng kế hoạch đã vạch sẵn. Lúc này, nhận được tin cấp báo Vân Đồn và một số vị trí quan trọng khác đã rơi vào tay giặc, nhà vua nổi giận sai người xuống Vân Đồn triệu Trần Khánh Dư về để hỏi tội. Nhận được chiếu chỉ, Trần Khánh Dư rất bình tĩnh. Ông xin với viên Trung sứ: “Lấy quân luật mà xử, tôi xin chịu tội, nhưng xin ngài hoãn cho vài ba ngày để lập công chuộc tội rồi sẽ chịu búa rìu cũng chưa muộn”. Trần Khánh Dư là con người cương trực, thẳng thắn, dám nhận tội, nhưng cũng rất bản lĩnh và luôn tin vào những suy nghĩ, tính toán của mình. Sự thực thì lúc đó trong đầu Trần Khánh Dư đã hình thành những ý tưởng phản công rất táo bạo. Trên cơ sở phân tích thế trận và dự báo các tình huống một cách chính xác, Trần Khánh Dư phán đoán đoàn thuyền chở 17 vạn thạch lương của Trương Văn Hổ đang đi phía sau đội hình không có quân lính chiến yểm hộ nên đã quyết định thu gom số quân còn lại, bố trí một trận địa phục kích kéo dài từ Vân Đồn tới Lục Thủy đợi đoàn thuyền lương của địch. Quả đúng như dự đoán của Trần Khánh Dư, cả đoàn thuyền lương của địch đi lọt vào đúng trận địa phục kích của quân Đại Việt. Chỉ chờ có vậy, Trần Khánh Dư ra lệnh cho quân sĩ xung trận. Không có thuyền chiến đi cùng bảo vệ, đoàn thuyền lương của địch nhanh chóng bị quân của Trần Khánh Dư tiêu diệt, nhiều thuyền cùng một số lượng lớn quân lương bị nhấn chìm. Tướng giặc là Trương Văn Hổ thoát chết bỏ chạy tháo thân trên một chiếc thuyền nhỏ qua đảo Hải Nam. Nhận tin chiến thắng từ Vân Đồn cấp báo về, nhà vua rất đỗi vui mừng mà rằng: “Cái mà quân Mông Nguyên trông chờ là ở thuyền lương và khí giới, nay những thứ đó đã bị ta bắt được. Có lẽ chúng không còn xoay xở được nữa”. Quả đúng như vậy! Bị cắt mất nguồn hậu cần, quân Mông Nguyên rơi vào thế túng quẫn, sức chiến đấu suy giảm nhanh chóng, tâm lý hoang mang, thiếu nhuệ khí lan tràn... để rồi cuối cùng buộc phải rút lui khỏi Đại Việt.
Chiến thắng Vân Đồn in đậm dấu ấn chỉ huy mưu lược và công lớn của Trần Khánh Dư. Sách Đại Việt sử ký toàn thư cho biết: “Khánh Dư biết quân giặc đã qua, thuyền vận tải ắt theo sau nên thu thập tàn binh đợi chúng. Chẳng bao lâu đoàn thuyền tải quả nhiên đến. Khánh Dư đánh bại chúng, bắt được quân lương, khí giới của giặc nhiều không kể xiết, tù binh cũng rất nhiều. Ông lập tức sai chạy ngựa mang thư về báo với nhà vua. Thượng hoàng tha cho tội trước, không hỏi đến nữa”. Còn sử thần Ngô Thì Sĩ thì ca ngợi: “Trận thắng ở Vân Đồn rất kỳ diệu và là căn bản của thắng lợi trên sông Bạch Đằng sau đó. Trận thắng ở Vân Đồn là chẹt con hổ mà cướp lấy mồi... Mưu tính hiệu và công thắng địch của Trần Khánh Dư cũng vĩ đại thay”.
Tháng 4-1288, chiến thắng Bạch Đằng lịch sử kết thúc cuộc kháng chiến chống quân Mông Nguyên lần thứ ba của quân dân Đại Việt. Ngày cả nước ca khúc khải hoàn, Trần Khánh Dư đã được phong chức Phiêu kỵ Thượng tướng quân (một chức chỉ dành phong cho các hoàng tử nhưng vì Trần Khánh Dư đã được nhận làm con nuôi của vua nên được hưởng ân sủng này).
Sử cũ còn cho biết, năm Nhâm Tý 1312, Trần Khánh Dư chỉ huy một đạo quân vượt biển vào đánh quân Chiêm Thành và trận này quân Đại Việt cũng giành được thắng lợi lớn. Trần Khánh Dư mất năm Kỷ Mão 1339. Năm sinh của ông hiện chưa có tài liệu nào ghi chép rõ. Sau khi mất, ông được truy phong Đại vương.
TRẦN VĨNH THÀNH