אלביס קוסטלו הודיע, שהוא לא יבצע יותר את הלהיט הגדול ביותר שלו, Oliver's Army, וגם ביקש מתחנות הרדיו להפסיק להשמיע את השיר.
מילות השיר, שנכתבו על הסכסוך בצפון אירלנד, מכילות השמצה גזענית המשמשת לתיאור הקתולים האירים. "ככה קראו לסבא שלי בצבא הבריטי – זו עובדה היסטורית", מתייחס למשפט: "One more widow, one less white nigger" – "עוד אלמנה אחת פחות כושי לבן אחד", משפט המתפרש כהשמצה גזעית המשמשת לתיאור הקתולים האירים. "ככה קראו לסבא שלי בצבא הבריטי – זו עובדה היסטורית", אומר קוסטלו. "אבל אנשים שומעים את המילה הזו… ומאשימים אותי במשהו שלא התכוונתי".
השיר Oliver's Army שיצא ב-1979, הושמע ללא עריכה בתחנות רדיו במשך עשרות שנים – אבל כשהמילה הפכה ליותר ויותר טאבו, רבים קיבלו החליטו להדביק בליפ על המילים.
בסיבוב ההופעות האחרון שלו, קוסטלו כתב מחדש את השיר כדי לתת מענה ל"קיצוץ על ידי הצנזורה" במיוחד הבי.בי.סי. "הם מחמירים את את העניין בכך שהם בכך שהם מסתירים את המשפט את זה, ללא ספק", אמר ל"טלגרף". "אני אומר להם אל תנגנו את התקליט בכלל !" זוהי בקשתו לכל תחנות הרדיו. אם מצנזרים את המקור – לא להשמיע.

אלביס קוסטלו כתב את "צבא אוליבר" ב-1978 במטוס שחזר מבלפסט. זו הייתה הפעם הראשונה שהוא נסע לעיר, והוא הזדעזע לראות חיילים צעירים מאוד מהצבא הבריטי מסתובבים עם מקלעים. השיר עוסק בצרותיה של צפון אירלנד, סוף האימפריה הבריטית והחיים בצבא.
שם השיר מתייחס לאוליבר קרומוול, מנהיג הצבא הפרלמנטרי במלחמת האזרחים האנגלית נגד הצבא המלכותי של צ'רלס 1. בין היתר הוא הקים את מה שנקרא The New Model Army, שהיה הראשון, שעבר הכשרה מתאימה. ללחום בבריטים.
השיר של קוסטלו הוא הצהרה אנטי צבאית כללית, אבל המטרה העיקרית שלו היא שהאופציה האמיתית היחידה שיש למובטלים היא להתגייס לצבא (נתוני האבטלה הבריטיים היו בשיא כל הזמנים כשכתב את השיר בתחילת שנות ה-80) . אין לזה שום קשר לקרומוול, מלבד שם השיר.
למרות הטקסט הפוליטי, "צבא אוליבר" היה פופולרי מאוד באנגליה בשל היותו שיר פופ קליט. למאזינים רבים לא היה אכפת מהאמירה החברתית.

Elvis Costello & The Attractions – Oliver's Army