Phạm Ông vốn xuất thân quan văn, nhưng từ nhỏ đã được ông nội, một võ quan thời thịnh Trần, từng lập nhiều chiến công hiển hách chống giặc Nguyên - Mông luyện cho thập bát ban võ nghệ. Công tử họ Phạm thi đỗ tiến sĩ, được tiến cử giữ chức quan Tri phủ Lộ Hải Đông, dưới thời vua Dụ Tông.
