홍언필은 대사헌을 여섯 차례, 판서를 다섯 차례나 지냈다. 그후 우의정과 좌의정을 거쳐 영의정까지 지낸 인물이다. 

홍언필의 아들 홍섬洪暹이 판서로 있을 때였다. 그 집안의 가풍이 몹시 엄격하여 판서가 웃옷을 입지 않고는 아버지를 뵙지 못하였다. 손님이
오면 홍언필은 간혹 아들 홍섬을 시켜 접대하게 했다.

홍섬은 베옷을 입고, 겸손한 말과 태도로 손님을 맞았다. 그리하여 처음 보는 사람은 그가 판서임을 알지 못하다가 뒤늦게 알고 놀라곤 했다. 

홍섬이 처음 판서가 되어 가마를 타고 집으로 돌아왔다. 그러자 어머니는 몹시 기뻐하며 남편에게 말했다. 
“집안에 경사가 아니고 무엇이겠습니까? 마침내 우리 아들이 판서가 되어 나라에서 내주는 가마를 타고 집에 도착했습니다."

그러나 홍언필은 아들을 불러 엄하게 꾸짖었다.
"내가 바야흐로 정승의 위치에 있고, 너 또한 판서가 되었다. 그러므로 나는 늘 우리 집안이 너무 차 있음을 두려워하였다. 그런데 너는 어찌
태연하게 가마를 타고 다닌단 말이냐! 어디 다시 한번 타보거라.”

홍언필은 아들로 하여금 가마를 타고 뜰 가운데를 돌게 하니 홍섬이 다음부터는 감히 가마를 타지 못하였다.

평소 몸가짐이 검소했던 홍언필은 화려한 것을 좋아하지 않았다.
그가 회갑을 맞았을 때였다. 그의 아들들이 아버지의 회갑을 맞아 기생을 불러 노래하고, 술을 잔뜩 준비하려 하였다. 그러자 홍언필은 아들을
불러 말렸다.
“내가 외람되이 높은 자리를 차지하여 항상 조심하고 삼가는 마음을 가졌는데 어찌 기생을 불러 노래하며 즐기겠느냐?"

그러고는 새로 지은 옷을 물리치고 입지 않았다. 아들과 사위들이 이미 높은 벼슬에 있었는데도, 매양 그의 집에 문안을 올 적에는 그 하인들이
종소리를 내지 못하게 하였다고 한다.