El distintivo tono de guitarra para la introducción de «Undone- The Sweater Song” surgió de una sección específica del proceso de grabación de The Blue Album, durante la cual Rivers Cuomo y el guitarrista original Jason Cropper pasaron unos días en el ático de los estudios Electric Ladyland concentrándose únicamente en las partes de guitarra del disco.

Originalmente, la banda tenía la intención de insertar varios clips de sonido en la canción, pero desconfiaban del costo de la licencia. En cambio, la versión de estudio de la canción presenta una introducción hablada del entonces bajista Matt Sharp y viejo amigo de la banda Karl Koch, así como un «intermedio» de diálogo entre Karl y uno de los miembros fundadores del club de fans oficial de Weezer y uno de los primeros seguidores de la banda, Mykel Allan. Este diálogo se improvisa con frecuencia durante conciertos y otras grabaciones en vivo.

Cuando la canción fue elegida como single principal de The Blue Album, el sello discográfico de la banda solicitó una versión abreviada de la canción para reproducirla en la radio. Si bien Weezer había aceptado acortar las secciones de apertura y cierre de la canción, se realizó un ajuste adicional que acortó el solo de guitarra final de la canción en varios segundos. Weezer había aprobado esta versión de la canción sin escuchar las ediciones realizadas en el solo, y al escuchar esta versión de la canción, solicitaron que se eliminara la edición del solo. La edición de radio original tuvo una duración de 3:58, que se extendió a 4:10 en la edición completa del solo de guitarra «corregida».

En 2009, Rivers Cuomo admitió a Rolling Stone que «Undone – The Sweater Song» era una copia casi completa de «Welcome Home (Sanitarium)» de la banda Metallica. 

«Estaba tratando de escribir una canción tipo Velvet Underground porque me gustaban mucho y se me ocurrió ese riff de guitarra. Simplemente tomé esa guitarra acústica y lo primero que toqué fue ese riff. Y me parece tan clásico, incluso ahora, cuando la banda empieza a tocarlo, se apodera de la energía de la sala y te transporta al mundo de Weezer. No fue hasta años después de que lo escribí que me di cuenta de que es casi una copia completa de ‘Sanitarium’ de Metallica. Para mí, resume perfectamente a Weezer: estás tratando de ser genial como Velvet Underground, pero tus raíces metálicas simplemente se transmiten inconscientemente».