然而，20多年後和20多年前殷勇王子犯下的錯誤導致康熙下定決心廢除他的王子地位。有壹次，康熙帶兒子們出去視察。當時，他的小兒子生病去世了。當時他的小兒子才八歲。這壹次，殷勇王子並不關心自己兄弟的死，這使康熙非常生氣。想起20多年前殷勇親王病重時的態度，康熙
在康熙眼裏，殷勇王子對自己如此冷漠，對父子沒有絲毫感情，對自己的兄弟也毫不關心。這些行為讓康熙對他非常失望。他覺得如果殷勇王子在他死後繼承王位，他的其他兒子將不可避免地被他殺死。這樣的人康熙絕對不會允許他繼承皇位。
康熙之所以有這樣的感覺，是因為他小時候也感染過壹次天花，但是他從來沒有見過他的父親。當他看到他的小兒子想起他的童年時，他非常感動。但當他看到殷太子毫無感情，康熙對他徹底失望，這才廢除了他的太子地位。