卡斯特罗的第一任妻子是米尔塔，这位出身名门望族、相貌秀美的姑娘，和卡斯特罗相识在哈瓦那大学。卡斯特罗来自富裕的农场主家庭，高大英俊，天生就有一股明星的气质，很快就吸引了米尔塔，两人陷入爱河，结成连理。不过，卡斯特罗并不是可以仰望终身的男人，他移情别恋爱上了另外一个女人。
雷韦尔塔，哈瓦那社交圈著名的大美人，正是卡斯特罗出轨的对象。雷韦尔塔当时是有夫之妇，丈夫是一位年长她20岁的名医，年龄的代沟让他们无法产生爱情。雷韦尔塔极力支持卡斯特罗的事业，倾尽所有援助革命，不过卡斯特罗始终把革命放在第一位，他离开了雷韦尔塔前往墨西哥组织游击队，这段地下情终告结束，两人再也没有联系过。
在所有卡斯特罗的女人中，旅美德国姑娘玛丽塔是最富有传奇色彩的一位。十九岁的玛丽塔随父来到卡古巴，初次见到卡斯特罗就坠入情网。两人甜蜜相处了8个多月，玛丽塔怀上了孩子，却不幸流产，不得已回到纽约调养身体。美国中情局得知消息，欺骗玛丽塔说是卡斯特罗杀死了胎儿，怂恿她回到古巴暗杀卡斯特罗。玛丽塔回到古巴，差点让卡斯特罗喝下了藏有毒药的咖啡。
卡斯特罗在马埃斯特腊山区领导游击队的时候，塞莉亚是队中最早的一位女战士，后来她一手创建了著名的“玛丽亚娜斯女兵排”。塞莉亚比卡斯特罗年长五岁，她是卡斯特罗的长期战友，也是亲密伴侣，1980年，塞莉亚罹患癌症去世。
不过，卡斯特罗离异后再次走进婚姻，是和一名叫做达利娅的女教师。达利娅比卡斯特罗年轻20岁，早在1961年，他们就在一次教育活动中相识，直到1980年才秘密成婚。结婚以后，达利娅甘心当起家庭主妇，为卡斯特罗生育了五位孩子，默默把他们抚养成人。