他74歲仍每天拍13個小時戲，年輕時開廠住半山豪宅，昂貴藏品眾多

後來二婚太太又為他生下兒子潘迪堯。潘志文曾因與演員苗可秀合作而有過一段婚外情緣，但最終沒能締結婚姻。對於這段往事，潘志文深表悔恨，覺得自己愧對前妻，不過兩人現今仍是好友。