«Off He Goes» вважається однією з пісень, які продемонстрували вихід Едді Веддера на перший план в гурті, замість засновників Стоуна Госсарда та Джефа Амента. Пізніше Амент розповідав, що це сталось само по собі в середині дев'яностих: Веддер залишився єдиним музикантом в Pearl Jam, який був здатен написати пісню від початку і до кінця. Вокаліст погоджувався, посміхаючись: «Саме тоді я вперше почав усамітнюватись, ізолюючись від оточуючих, і писати щось дійсно добре. Ця пісня та „Around the Bend“ були написані на тому самому стільці, вдалині від інших». Продюсер Брендан О'Браєн був захоплений композицією і називав її однією з найзначніших пісень Pearl Jam, над якими він колись працював[1].
В тексті розповідається про людину, яка то з'являється, то зникає, не звертаючи увагу на почуття оточуючих. Її автор Едді Веддер визнавав, що в ній зобразив самого себе, «поганого друга»; проте Джеф Амент наголошував, що в цьому персонажі кожен може впізнати себе[2]. Дехто вважав, що в пісні співалось про Ніла Янга, з яким гурт плідно працював за рік до цього[3]. В журналі Spin узагальнили, що персонажем пісні могла бути рок-зірка, що повертається до друзів лише коли до неї не прикуто увагу медіа та преси[4].
«Off He Goes» є спокійною баладою, що виконується на акустичних гітарах[5]. Джеф Амент грає на «вертикальній» бас-гітарі (електроконтрабасі), а Джек Айронс виконує максимально спрощену барабанну партію. В цій пісні відчувався вплив Ніла Янга, якому Pearl Jam допомагали записати альбом Mirror Ball; двома іншими схожими піснями з альбому стали «Smile» та «Around the Bend». Окрім цього, акустичний вступ до пісні нагадував бітлівську «And I Love Her»[2][4].
«Off He Goes» вийшла на альбомі No Code 27 серпня 1996 року. Через декілька тижнів гурт вперше виконав її наживо на концерті в рідному Сіетлі[6]. Вона стала третім синглом з альбому після «Who You Are» та «Hail, Hail», в січні 1997 року опинившись в чартах Billboard, піднявшись на 31 та 34 місце в хіт-парадах Alternative та Mainstream Rock[7]. На зворотній стороні синглу вийшла пісня «Dead Man», також написана Едді Веддером[8].
