霍英东在校读书很是勤奋，成绩总是排在前几名。他后来回忆说："那时我读书十分专心，总是不甘落后，偶有成绩落在第三名以下，自己便觉脸红。"在皇仁书院，零英东算是接受了比较系统的教育，除了完成学校规定的学业之外，他还广泛阅读了不少文学作品，如《金银岛》、《鲁滨逊漂流记》等。那段日子，他的生活是相当艰辛的，因为皇仁书院学费很高。为了省下一点钱，霍英东常常不坐电车，花半个钟头急步上学。在学校里他最喜欢的课外活动便是踢球，大概因为他当时身体比较瘦弱，想炼出一副强健的体格。不过，他不敢踢得太久，总是匆匆地踢三几十分钟便急着跑回家，因为要回去帮助妈妈记帐和送发票。他后来回忆说："这种紧张生活，经常弄得我筋疲力尽，头昏眼花，甚至神经衰弱。不过，这对于我又是一个极好的锻炼，使我后来走出社会以后，不管生活多么艰辛，工作多么繁忙，自己也不怎样畏惧，倒是能够从容对付。"

　　霍英东在皇仁书院读到第三班，算来这已是高中毕业，进入大学预科。此时太平洋战争爆发了，日本开始进攻香港，霍英东的学业也被迫结束了。在香港沦陷的日子日军占领香港时，霍英东母亲和人合伙购置的"兴和"小火轮给日军征用了，生活没着落，他也失学了。和当时许多人一样，初时靠摆卖家里的衣服杂物度日。

　　不久，生活又迫着他到轮船上去做火伕。轮船是烧煤的，他做铲煤工，这是他的第一个职业，那时他才18岁。霍英东干得非常吃力，回到家里全身骨架像散了似的，倒下床就呼呼入睡了。只干了9个月，在老板裁员时给解雇了。

　　不久，霍英东花了10元日本旧军票，托人介绍到太古船坞抡大锤打铁。霍英东虽然当过火伕，但还是干不了这种要求极严的重活。接着又有人叫他转到风炮铆钉处，霍英东抡起那吧吧直叫的风炮，震得双手一直打抖。于是，又吹了。