黄飞鸿虽然有过四位妻子，但除了原配罗氏以外都是续娶的，都是在妻子去世后才娶的。第一任妻子罗氏是一名普通家庭的子女，在婚后三个月就因病去世了。而第二任妻子马氏则是商人家的富贵千金，婚后还给黄飞鸿生了两个儿子，不过在三年后，也染上怪病去世了。而第三任妻子岑氏则陪伴了黄飞鸿半生，也为他生了两个儿子，然而最后也因病去世了，因此还传出了黄飞鸿克妻的谣言。
直到第四任妻子莫桂兰的出现，她留学西洋，既聪明，又贤惠，在西方礼教的影响下，思想也更加开放，此时的莫桂兰还不到二十，黄飞鸿已经年近六十了，但二人因兴趣相投，也成为了恩爱的夫妻，据说十三姨的原型就是她。
莫桂兰既是黄飞鸿妻子，也是他的徒弟，黄飞鸿的毕生所学都教给了妻子。世事难料，黄飞鸿因为抑郁难平，最后在1925年四月去世了，这一年他78岁，而莫桂兰则是移居到了香港，并新成立了宝芝林救死扶伤，不过，最可惜的还是他们二人未能生下一男半女，后来她还成立了“黄飞鸿健身学院”并将黄飞鸿的武功传承了下去，直到她八十岁的时候，还在试看检验徒弟们的所学，直到1982年的时候，这位女侠也去世了，享年90岁。
而黄飞鸿一生中有四个儿子，黄汉森获得黄飞鸿的真传。但是在1919年，黄汉森被人陷害致死。因为此事，黄飞鸿发誓不再教自己的儿子练习武术。他的第四个儿子黄汉熙，和黄飞鸿长得非常像，但是对武术并没有什么建树，之后从事的职业也和武术没有任何的关系。除此之外黄飞鸿还有两个女儿。现在来说，黄飞鸿后人中有三个孙子和六个孙女，儿孙有很多，现在分别在世界各地，但从事的行业都已经和武术无关。
但这些孩子并不是一个老婆所生。黄飞鸿一生有四位老婆，前三位老婆都在迎娶后不久生病去世。此后黄飞鸿过着很长时间的单身生活，认为是自己命里克妻，直到遇到了十三姨，两人才结下了缘分。黄飞鸿和十三姨可以说是一对老少恋，在两人结婚的时候，为了避免克妻，十三姨只能是以妾的身份嫁给黄飞鸿。他们结婚之后生活很想幸福，也打破了黄飞鸿克妻的传言，十三姨离世的时候有91岁。