乾隆三十年(1765年)永琪因患有“附骨疽”救治不愈而英年早逝，永琪一生共有6子1女，其中有五个儿子都是一个侧福晋所生。这个侧福晋也是永琪一生最爱的女子索绰罗氏，是左都御史观保的女儿。
索绰罗氏是一位才女，琴棋书画样样精通。实际上在五阿哥娶嫡福晋西林觉罗氏之前便已经娶了侧福晋索绰罗氏。两人十分的恩爱，乾隆二十四年六月十日，索绰罗氏为永琪生下了第一个儿子，但是这个儿子出生还不到一个月便夭折了。
永琪强忍着悲痛安慰索绰罗氏，告诉她，我们还会有孩子的。第二年，索绰罗氏再次怀孕，可是这个孩子也和上一个孩子拥有着相同的命运，没出生多久便夭折了。
乾隆二十六年十二月十八日他们迎来了第三个孩子，这个孩子出生的时候很健康，两人都视若珍宝，可是却在两岁不幸离世。
索绰罗氏内心是绝望的，但是出于对永琪的爱，她并没有放弃希望。乾隆二十九年八月十五日，索绰罗氏怀上了双胞胎。当两个孩子呱呱落地的时候，索绰罗氏和永琪都是喜极而涕。觉得这是上天在补偿他们。
然而第四个儿子在同年十月不幸早夭，第五个儿子一直健康地活了下来。两人为孩子取名为“绵亿”，绵亿没有辜负父母的希望，在永琪去世后，乾隆皇帝甚至亲自为他养育儿子，让绵亿在一个良好的环境中茁壮成长。
乾隆四十九年十一月，时绵亿受封为多罗贝勒。嘉庆四年正月，封多罗荣郡王。他遗传了父亲的聪明，熟读经史，腹有才学。一直活到，嘉庆二十年(1815)去世，享年51岁。
