徐霞客有妻子。徐霞客编写整理的《徐霞客游记》为中国的地理学和旅游学都起到了及其重要的作用，他开始编写这部著作的日子也被定为中国旅游日。徐霞客幼时就酷爱读书，特别是地图传记，当时就立下了旅行大志。他的游历考察地区被认证为“中国徐霞客游线标志地”。
徐霞客在父亲逝世后守孝3年，22岁时成家。妻子是江阴名士、诗人许学夷的侄女。徐霞客少年时显露出的非凡的文才，受到许的器重，两人成忘年之交。徐霞客与许氏结秦晋之好，为许学夷做的月老。徐霞客成婚后当年秋天首次远游（太湖诸地），即是与岳叔同行。最理解、支持徐霞客游历志的，第一人当是母亲，第二人即是岳叔，第三人当然是许氏。可以想见，徐霞客与许氏必定是夫唱妇随、趣味相投的恩爱伉俪。
许氏嫁入徐府后久未生育，徐母为徐霞客娶一金氏女子为小妾，金氏为徐霞客生一女儿，次年，许氏为他生长子徐屺。可惜的是，许氏仅与徐霞客生活了10年，屺儿3岁时病逝。
许氏逝后的次年，徐霞客33岁，母亲为他娶继室罗氏。罗氏也出身名门，但为人处世远不如许氏，且心胸狭窄、刁蛮刻薄、为人狠毒，致使夫妻关系十分紧张。徐霞客移情别恋，与家中一周姓婢女私好。周氏是许夫人的陪嫁婢女，徐霞客与其相好，当是因她与许夫人有相近的性情、修养，难免包含对爱妻的思念之情。
周氏受到徐霞客的珍爱，当然使罗氏忌恨万分。当周氏有了身孕后，罗氏“恶向胆边生”，趁徐霞客远游之机，欺蒙王老夫人，以家母的身份，强行将周氏嫁与邻乡一李姓人家。周氏身份卑贱，一时里没有徐霞客的保护，腹中有了孩子，又不忍以死相搏，只得任由罗氏欺凌侮辱，悲愤离开徐府。徐霞客归家后，木已成舟，无力回天，自此，他与罗氏恩断义绝、形同陌路。《徐氏宗谱》上，只有徐霞客的原配许氏而无继室罗氏，可见罗氏所作所为，在族中也是不得人心的，修谱的人有意不记罗氏之名。
次年，罗氏生次子徐岘，周氏也产一子，徐霞客为此子起姓名“李寄”，意为寄养在李家。李寄成年后，又为自己取字“介立”，是介于两姓，不忘血脉的含义。