但很快，李辅国就将高力士与玄宗隔离了。
没过多久，又将高力士流放到遥远的南方。临行前，力士请求最后见玄宗一面：“巨当死已久，天子哀怜至今日，愿一见陛下颜色，死不恨！”辅国不许。力士痛哭出京。后代宗即位，大赦天下，力士北还，至湖南常德，接到玄宗去世的消息，七十八岁的高力士眼泪哭干，吐血不止，绝食而死。