הבמאי טיילור הקפורד ביקש מפיל קולינס לכתוב  שיר לסרט "כנגד כל הסיכויים" (1984). קולינס חזר לשיר, שלא נכנס לאלבומו Face Value, שנקרא "How Can You Sit There" והתאים אותו לסרט. קולינס סיפר כי השיר נכתב באותם ימים לא קלים, בהם נכתבו כל שירי האלבום, אלא שאת השיר הזה הוא לא אהב כמו הבלדה 'You Know What I Mean'. "חשבתי יש מקום רק לשיר אחד מהסוג הזה. אין  לי מושג מה היה קורה עם השיר אלמלא התקשר אלי הקפורד"…
פיל קולינס הסביר כי היתה אצלו הפרדה כמעט מוחלטת בין הכתיבה ללהקת ג'נסיס ובין הכתיבה האישית, שהתמקדה במצוקות וכאב בחייו. "השיר הזה נכתב במהלך גירושיי הראשונים. אשתי הראשונה וילדיי עזבו, ואני נשארתי לבד. אלמלא התחושות שחשתי אז, ספק אם האלבום ההוא היה כלל נולד. בטוח שהיה יוצא משהו אחר – אולי אלבום ג'אז/רוק. פשוט ישבתי לילה ויום והלחנתי ליד הפסנתר"…

"איך  יכולתי לתת לך ללכת/ לעזוב בלי להשאיר עקבות/ כאשר אני עומד כאן לוקח כל נשימה איתך, אוה/ את היחידה שבאמת הכירה אותי// איך יכולת כך לעזוב אותי/ כאשר כל מה שאני יכול לעשות זה לראות אותך עוזבת?/ כי אנחנו חלקנו את הצחוק ואת הכאב/ ואפילו שיתפנו את הדמעות/ את היחידה שבאמת הכירה אותי"

זה היה הראשון מבין שבעה שירים שהגיעו למקום הראשון בארה"ב בשנות השמונים, ביניהם שירים של ג'נסיס כמו Invisible Touch ב-1986. מבקרים אחדים הגדירו את שיריו "פופ קיטשי". בראיון לרולינג סטון ב-2010 הודה קולינס, כי הביקורת הזו פגעה בו ואפילו גרמה למחשבות אובדניות. חודשים אחרי הראיון הזה פרש מוסיקה. אז הוא תירץ את הפרישה – "כדי להיות אבא במשרה מלאה לילדי"
השיר זיכה את קולינס בגראמי לשנת 1984 בקטגוריית Best Pop Vocal Performance והיה מועמד לאוסקר בקטגוריית השיר המקורי בסרטים, אך הפסיד ל – "I Just Called To Say I Love You" של סטיבי וונדר. קולינס זכה בפרס הזה על "You'll Be In My Heart שנכתב לסרט "טרזן".

פיל קולינס Against All odds

How can I just let you walk away
Just let you leave without a trace?
When I stand here taking every breath with you, ooh ooh
You're the only one who really knew me at all

How can you just walk away from me
When all I can do is watch you leave?
'Cause we've shared the laughter and the pain
And even shared the tears
You're the only one who really knew me at all

So take a look at me now
Well there's just an empty space
And there's nothing left here to remind me
Just the memory of your face
Ooh, take a look at me now
Well there's just an empty space
And you coming back to me is against the odds
And that's what I've got to face

I wish I could just make you turn around
Turn around and see me cry
There's so much I need to say to you
So many reasons why
You're the only one who really knew me at all

So take a look at me now
Well there's just an empty space
And there's nothing left here to remind me
Just the memory of your face