Vývoj legendárního stíhacího letounu F-4 Phantom II započal ve společnosti McDonnell Aircraft Corporation v St. Louis, Missouri, počátkem 50. let 20. století. Práce vycházely z dřívějších projektů na vylepšení palubního stíhače F3H Demon. Jedním z interních konceptů byl i dvoumotorový stroj využívající výkonné motory General Electric J79, který byl označován jako „Super Demon“. I když tento koncept neuspěl v soutěži o denní stíhač (vyhrál Vought F8U Crusader) ani v soutěži o bitevní letoun (vyhrál A-4 Skyhawk), poskytl cenné základy pro budoucí vývoj.
Klíčový požadavek pro vznik Phantomu vzešel od Námořnictva Spojených států (US Navy), které potřebovalo palubní přepadový stíhací letoun, který by byl schopen operovat za každého počasí, měl dlouhý dolet a byl primárně vyzbrojen řízenými střelami pro obranu flotily. Společnost McDonnell odpověděla návrhem Model 98, který získal prototypové označení XF4H-1. Letoun byl navržen jako dvoumístný, dvoumotorový stroj osazený motory General Electric J79 a určený pro nesení raket AIM-7 Sparrow. Konkurenční nabídku v soutěži představoval stroj XF8U-3 Crusader III. od společnosti Vought.
V roce 1958 byl po pečlivém vyhodnocení vybrán návrh McDonnell, především díky jeho potenciálu pro nasazení za každého počasí a robustní konstrukci umožňující další rozvoj. Oficiální jméno Phantom II letoun obdržel v roce 1959. Sériové letouny začalo americké námořnictvo přebírat od roku 1961.
V roce 1962, po sjednocení označení letounů v amerických ozbrojených silách, získal stroj označení F-4 Phantom II. Brzy se ukázalo, že jeho výkony přesahují původní námořní roli. Letectvo Spojených států (USAF) i Námořní pěchota (US Marine Corps) si Phantom II. rychle osvojily, což z něj učinilo unikátní letoun sloužící u všech tří hlavních amerických leteckých složek.
V průběhu dlouhé výrobní éry došlo ke klíčové změně u výrobce. Původní společnost McDonnell Aircraft Corporation se v dubnu 1967 sloučila s Douglas Aircraft Company, čímž vznikla McDonnell Douglas Corporation (MDC), pod jejíž hlavičkou pokračovala výroba většiny letounů.
Produkce Phantomu II. v USA probíhala až do roku 1979, přičemž poslední letouny byly dodány krátce poté. Celková americká a licenční produkce čítala 5 195 kusů. Licenční výroba probíhala také v Japonsku, kde společnost Mitsubishi Heavy Industries vyráběla variantu F-4EJ až do roku 1981, čímž se tento rok stal rokem definitivního ukončení globální produkce.
V amerických ozbrojených silách byl Phantom II. postupně nahrazován modernějšími letouny čtvrté generace. Ve službě USAF jej nahradily stroje F-15 Eagle a F-16 Fighting Falcon. U US Navy převzaly jeho role palubního stíhače a úderného letounu letouny F-14 Tomcat a F/A-18 Hornet. I přes své stažení z aktivní služby v USA zůstal F-4 Phantom II neuvěřitelně dlouho aktivní v letectvech mnoha spojeneckých zemí, kde jeho modernizované verze slouží dodnes.