张伯驹一生结过四次婚，有一儿一女，最后一任妻子潘素才是最爱。和一般的名门贵公子一样，张伯驹的第一任妻子是包办婚姻，他的妻子李月娥是安徽亳州人，官宦人家的千金，是个缠足的小脚女人，没有受过多少文化教育，张伯驹和她没有感情，也没有和她生过儿女。
张伯驹的二房邓韵绮是北京的京韵大鼓艺人，邓韵绮的名字是张伯驹给她起的。邓韵绮出身贫寒，既然她是唱戏出身，肯定相貌漂亮。在北京的各种交际场合都是邓韵绮陪伴张伯驹出席。邓韵绮没有子女。
张伯驹的三房王韵缃也是穷家女出身，只生了儿子张柳溪。王韵缃的名字也是张伯驹取的。料理家事由三房王韵缃负责。
1935年，张伯驹遇到了他一生的最爱潘素。潘素她苏州名门千金，前清著名的状元宰相潘世恩的后代，幼年时期，她的母亲聘请名师教她琴棋书画，她擅长弹琵琶，绘画也非常好。
可惜潘素十三岁时母亲病逝，父亲继娶，后来家道中落，她被继母王氏卖到上海的青楼，成为风尘女子。潘素天生丽质，容貌绝美，风姿绰约，外号“潘妃”，张伯驹对潘素一见钟情，还写了首诗赞美她：“潘步掌中轻，十步香尘生罗袜；妃弹塞上曲，千秋胡语入琵琶”。
这时潘素二十岁，张伯驹三十七岁。张伯驹断除层层阻力，娶了潘素，从此两人夫妻恩爱，形影不离，白头到老。潘素为张伯驹生了女儿张传彩。1948年，张伯驹和二房邓韵绮离婚了,1952年，张伯驹和三房王韵缃离婚。从此潘素和张伯驹一夫一妻，相伴度过后半生。
