Esta canción, al igual que el álbum entero, es simplemente hermosa. Su producción, beat y letra son asombrosas, como casi todo lo que ha hecho Ye. Es una canción que habla de la pérdida de un amor, que no funcionó, una forma de catarsis/desahogo. Guilt Trip es una oda a amores que no funcionaron.