Đảm nhiệm chức vụ Phó Thủ tướng Chính phủ 18 năm (1955-1973), Bộ trưởng Bộ Nội vụ suốt 16 năm (1947-1963), cuộc đời cụ Phan Kế Toại là cuộc đời tận tụy vì dân.
Chị Thúy, người con gái thứ hai của họa sĩ Phan Kế An kể lại rằng, ở tuổi 95, bố chị ra đi thanh thản, nhẹ nhàng vì ông đã chuẩn bị cho mình mọi điều trước đó. Ông tâm sự với 3 cô con gái của mình những tháng ngày nằm viện: "Bố nhìn thấy bàn thờ rồi, 95 tuổi, chết cũng là lẽ tự nhiên thôi mà...".