Do thời buổi chiến tranh không có điều kiện học hành nhiều, vợ ông Phan Tấn Lợi ( Sn 1958), bà Phạm Thị Nhớ (Sn 1966), ở thôn Hà Lợi Tây, xã biển bãi ngang Gio Hải, huyện Gio Linh, Quảng Trị, sau này đã quyết chí nuôi 6 con của mình ăn học thành tài.