秦始皇的母亲是赵姬，父亲是谁还需要进一步的分析。《秦始皇本纪》和《吕不韦列传》里的记录有分歧，嬴政的父亲究竟是异人还是吕不韦，在正史野史中的争论仍在继续。秦始皇的是秦庄襄王。庄襄王做为秦人闲兼软禁在赵国时上了赵国的富豪吕不韦的姬妾，就把她求要来做了自己的妻子。不久就生下了秦始皇。据《史记·吕不韦列传》记载，吕不韦是以商人的目光和手段实现自己的政治目的，将当时已经怀孕的赵姬，也就是秦始皇的母亲，献给了秦庄襄王。所以也有人说秦始皇是吕不韦的亲生儿子。
秦始皇共有子女33人。继承他皇帝之位的，就是历史上被“指鹿为马”蒙骗的秦二世胡亥。而秦始皇的“真命天子”长子扶苏，却在赵高、李斯阴谋推举胡亥篡得皇位后，被他们篡改的遗诏赐死了。胡亥为保住自己的皇位，残酷地杀害了自己众多的兄弟姐妹。他命令赵高网罗罪名，将自己的兄弟十二人在陕西省咸阳市杀死后陈尸受辱，将自己的姐妹十人分裂肢体后杀死于杜县，其余的被逼殉葬或自杀，财产一律没收。
秦始皇的后代不但没有像他所期望的那样，自己是“始皇帝”，后继者沿称二世皇帝、三世皇帝，以至万世的“传之无穷”，而是让“亡秦者，胡也”的自己不肖之子胡亥成了家族的终结者。公元前247年，他的父亲秦庄襄王离开人世，年仅十三岁的秦始皇继承皇位，但是由于他年龄太小，所以国家大事都由吕不韦所决定，秦始皇尊称吕不韦为“仲父”。 吕不韦既把持国政，又与太后赵姬偷情。他见秦始皇日渐长大，怕被他发现，想离开太后，又怕太后怨恨，所以献假宦官嫪毐给太后以取代自己，嫪毐假施腐刑，只拔掉胡子就进宫了，很快就和太后鬼混在一起。
