Mẹ con Nguyễn Trãi cũng về Côn Sơn ở với ông ngoại, cho dù cha của Nguyễn Trãi vẫn đang dạy học ở Nhị Khê. Nhưng vì sao lại có việc này? Nguyên do như sau: thân phụ Nguyễn Trãi trước đây vốn tên là Nguyễn Ứng Long, người làng Chi Ngãi, huyên Phượng Sơn (nay thuộc Chí Linh), xuất thân nghèo khổ nhưng có tài và khá nổi tiếng trong giới nho sĩ ở Thăng Long. Vì thế mới được quan Tư đồ Trần Nguyên Đán vời vào làm gia sư để kèm cặp một người con có tên là Trần Thị Thái. Không ngờ thày trò lại yêu nhau say đắm đến nỗi làm cô Thái có mang. Nguyễn Ứng Long hoảng quá bỏ chạy. Quan Tư đồ phải ngầm sai người đi dò tìm Ứng Long trở về và nói với Ứng Long rằng: "Người đời xưa đã có việc này, không thấy chuyện Văn Quân với Tương Như sao? Nếu được như Tương Như để tiếng về sau thì ta cũng bằng lòng". Và ông đã tác thành cho đôi trẻ. Cảm động trước tấm lòng ấy, Nguyễn Ứng Long đã ra công dùi mài kinh sử và đến khoa thi năm 1374, lúc ấy ông mới có 19 tuổi đã đỗ Tiến sĩ. Nhưng Thượng hoàng Nghệ Tông lúc đó đã phán rắng: " Bọn ấy lấy vợ con nhà phú quý, là kẻ dưới mà phạm người trên, bỏ không dùng". Vì thế mà suốt những năm còn lại của nhà Trần, Nguyễn Ứng Long phải về làng Ngọc Ổi (thuộc Thường Tín ngày nay) ngồi dạy học, còn vợ con vẫn phải ở lại nhà nhạc phụ. Như vậy là từ khi mới năm tuổi Nguyễn Trãi đã về sống ở Côn Sơn