渡边谦并没有不管女儿，只是说因为婚外恋情以及一些关系太乱，担心自己的女儿事业有成，已经成家，不想因为自己的名声不好影响女儿的未来，所以和女儿接触的少。
说到日本著名的影星总是不少，但能有影帝之称的并不多，渡边谦就算是其中一个，他参演过《盗梦空间》，在里面饰演斋藤，还凭借在电影《最后的武士》中的精彩演出，赢得了奥斯卡最佳男配角提名。但进来网上却总是传出，渡边谦婚内多次出轨的消息，被许多网友好奇，去了解他的家庭资料，才知道渡边谦从来都不管女儿.
据台湾媒体报道，日本影帝渡边谦3月底被踢爆不伦恋，和小21岁的女生交往3年，亲密私照外流重创形象，神隐4个月后，他15日招开记者会表示“报导都是事实”，两人在友人的聚餐上认识，交往3年，现在已分手了，对不起罹患乳癌的妻子南果步。今年3月底时，渡边谦被日本周刊踢爆搞不伦，与一名小21岁的女子A某偷偷交往3年，并拍到两人在纽约中央公园散步的照、亲密靠头自拍，以及A某偷拍渡边睡觉时的模样，女方还俏皮透过借位让渡边像是躺在自己手掌心上，亲昵程度不言而喻，引起外界议论纷纷。
“偷吃小三”风波延烧4个月后，一直避不出面的渡边谦15日招开记者，首度露面坦承“报导都是事实”，两人是在友人聚餐中认识，交往了3年，现在已分手。他接着说，“最对不起的事是让妻子难过了，爆发不伦报导当时，她正在接受乳癌治疗”，并透露两人现在是分居的状态，但对于是否离婚，他表示“没有讨论过”。
最后渡边谦也说“对于我个人的失误，没有什么好辩解的，身为演员的我能做的事，似乎只能以作品来回报。”被问起正怀第三胎的女儿渡边杏，他表示“事发至今没有联络”，父女关系似乎降到冰点。