与赵世曾恋爱过的女星和美后包括盈盈（蔡珍妮）、姚炜、方怡珍、陈凤芝和乐蓓等人。赵世曾说过：“结婚很麻烦，尤其在香港当前的法律体系下，对方会分割走大量的财富。不结婚则要安全得多。”虽然他曾与过万女子约会，但仍旧孤身一人，一生未婚。1977年，41岁的赵世曾与女星姚炜相识、相恋，但1979年生下长女赵式芝后，姚炜就离开了赵世曾。姚炜曾说：“他总以为所有女人在他身边都是为了钱，所以我决定什么都不要，抱着女儿离开，搬到父亲的廉租屋住。”
与赵世曾分手后，姚炜专注演艺事业，1984年拍摄了电影《金大班的最后一夜》，该片也成为她的代表作，姚炜凭着演活白先勇笔下的“金大班”名噪一时。而她并不否认，这段感情经历的确有助于她对金大班情感的诠释。1984年，赵世曾与女友盈盈诞下儿子赵式浩。1992年，赵世曾与比他小30岁、漂亮的美籍越南裔女子特丽-霍拉迪举行海陆空订婚仪式，但没有正式注册。特丽于1994年诞下赵式正，三年后与赵世曾分手。
据某门户网站2008年11月30日报道，赵世曾、罗莉莎和周汶锜等28日晚出席手表品牌豪门世家晚宴，赵世曾由世界小姐（中国）蒋欣妍陪伴进场，很有气派，他大赞对方漂亮。问到他女友Wendy漂亮还是世界小姐漂亮？他笑说：“怎么比，她又不是我女朋友。”
提到近日不少名人结婚，他自言目前来说都没可能结婚，也从来没有过结婚的冲动。他说：“我一生的幸福，最重要就是不结婚。结了婚不会有这么多开心日子，自由无人管，可以日日新款。”至于姚炜和TerriHolladay，他称已是很久以前的事了。他还笑称金融海啸不会影响他认识女朋友，他说：“少了生意，多了时间做自己喜欢的事。”
