הכוח האפל של השיר הזה מחזיר לכעס, לאלימות ולייאוש של תחילת שנות ה -80. הקלידן של הספיישלס ג'רי דאמרס כתב והקליט את השיר בדירתו בטוטנהאם בלונדון. על פני השטח מדובר על דעיכתה של קובנטרי, העיר בה גדלה הלהקה, אך המשמעות הרבה יותר חברתית פוליטית: Government leaving the youth on" the shelf".
בתחילת 1981, הספיישלס היו בשיא תהילתם כמו גם במצב של חדלות. הם זכו לתהילה מסחררתעם שבעה עשרת סינגלים מובילים ושני אלבומי זהב בשנתיים. אפילו נוצרה תת-תרבות נוער שלמה על רקע המוסיקה שלהם. הספיישלס התפרקו על רקע עומס רב ומחלוקות פנימיות באשר לכיוון המוסיקלי הקליל של ג'רי דאמרס. אחרי הכל הספיישלס היו להקה שנולדה מתוך מתח פוליטי וגזעי. ניגנו סוג של סקא פאנקי, עם מילים שמטיפות לסובלנות ושוויון על רקע גזעי, המתח הפוליטי והגזעי איים לבלוע אותם. הגיטריסט לינוואל גולדינג נפצע קשה בהתקפה גזענית בדרום לונדון. ההופעות בסוף 1980 נפגעו מאלימות הקהל. בקיימברידג 'נעצרו דאמרס והסולן טרי הול והואשמו בהסתה להתפרעות לאחר שניסו לעצור את האלימות. הלהקה הודיעה שתפסיק להופיע.
Ghost Town היתה של של ייאוש וכעס, הן על מצבה של מדינה בה האבטלה עלתה בכמעט מיליון מובטלים במשך שנה, בהם 82% בקרב מיעוטים אתניים – "זוהי ממשלה שהשאירה את הנוער בצד. השיר הושפע מאירועים במהלך סיבוב ההופעות של הלהקה בבריטניה. דאמרס נזכר בראיון שנתן למגזין המוסיקה מוג'ו, "בליברפול, כל החנויות נסגרו, הכל נסגר. בגלזגו היו זקנות ברחובות מכרו את מוצרי הבית שלהן".
השיר נכתב כאשר שלושה מחברי הלהקה – נוויל סטייפלס, לינוואל גולדינג וטרי הול – עזבו את הספיישלס להקים את Boy Fun Three. לדברי דאמרס, השיר הזה נולד בהשראת התפרקות הלהקה. "פשוט לא רציתי לכתוב על מצב רוחי ולכן ניסיתי לקשר אותו למדינה כולה."

The Specials – Ghost Town