Förutom titelspåret fanns två andra låtar med på singeln: "Castle Down" och "Willow". Titelspåret och "Castle Down" kom senare ut på samlingsalbumet A Bit o' This & That medan "Willow" kan hittas på Laced/Unlaced.
Låtlista
Låtarna skrivna av Emilie Autumn, om inget annat anges.
"By the Sword" – 5:11
"Castle Down" – 3:55
"Willow" – 8:22
"I Know It's Over" (The Smiths-cover) (video) – 6:47