由於家境貧寒,許冠文的童年很艱難。他的家人定居在鉆石山的小木屋區,那裏沒有水也沒有電。他把貧窮描述為“為了兩頓飯願意做任何事”。他說:“我沒有幽默感,甚至從小到大都沒有。我這麽認真,不明白為什麽別人會覺得我搞笑。”
拉薩爾學院的學生許冠文在大二時去夜校兼職教英語。高中畢業後,許冠文當了壹年老師,當了三年中學老師,攢夠了上中文大學的錢,在大學兼職電視臺和教夜校。