Pershing absolvoval vojenskou akademii Spojených států ve West Pointu v New Yorku v roce 1886. Byl pověřen poručíkem a přidělen k 6. kavalérii , který poté vedl operace proti Geronimu a Chiricahua Apache na jihozápadě. V roce 1890 sloužil Pershing v kampani k potlačení hnutí Ghost Dance a povstání mezi Siouxy na území Dakoty, ale jeho jednotka se masakru ve Wounded Knee neúčastnila. V roce 1891 se stal instruktorem vojenské vědy na University of Nebraska v Lincolnu. Zatímco tam také získal právnický titul (1893). V roce 1897 byl jmenován instruktorem taktiky ve West Pointu.
Španělsko-americká válka dala Pershingovi příležitost k rychlému povýšení. Sloužil na Kubě během kampaně v Santiagu (1898) a byl jmenován arzenálem v hodnosti major dobrovolníků. V červnu 1899 byl jmenován generálním pobočníkem. Zorganizoval Úřad pro ostrovní záležitosti na ministerstvu války a několik měsíců působil jako vedoucí tohoto úřadu. Pershing byl v listopadu 1899 vyslán na Filipíny jako generální pobočník oddělení Mindanao. V roce 1901 byl jmenován kapitánem pravidelné armády a do roku 1903 vedl kampaň proti Morosům. V roce 1905 byl vyslán do Japonska jako vojenský atašé velvyslanectví USA a během rusko-japonské války strávil několik měsíců jako pozorovatel u japonské armády v Mandžusku. Jako uznání jeho služby na Filipínách, Pres. Theodore Roosevelt v roce 1906 povýšil Pershinga na brigádního generála z hodnosti kapitána, přičemž při tom prošel přes 862 vyšších důstojníků. Pershing se vrátil na Filipíny a zůstal tam až do roku 1913, kde sloužil jako velitel oddělení Mindanao a guvernér provincie Moro. Poté si získal pozornost jako velitel represivní výpravy proti mexické revoluční Pancho Villa, která v roce 1916 zaútočila na Columbus v Novém Mexiku. Po smrti generálmajora Fredericka Funstona v roce 1917 nastoupil po něm Pershing jako velitel USA -Mexická hranice.
Poté, co USA vyhlásily válku Německu (duben 1917), prez. Woodrow Wilson si vybral Pershinga, aby velil americkým jednotkám odesílaným do Evropy. Přechod od protipovstaleckých kampaní, které charakterizovaly velkou část Pershingovy kariéry, k rozsáhlému stagnujícímu obléhání západní fronty byl extrémní zkouškou, ale Pershing přinesl této výzvě živý administrativní smysl a talent pro provádění plánů navzdory nepřízni osudu. . Se svými zaměstnanci přistál Pershing ve Francii 9. června 1917 a ten měsíc předložil „Obecnou organizační zprávu“ doporučující vytvoření armády jednoho milionu mužů do roku 1918 a tří milionů do roku 1919. Dřívější americké plánování s takovým velká armáda. Když předpokládali, že AEF nelze včas zorganizovat na podporu vojenských operací na západní frontě, požádali spojenci pouze o finanční, ekonomickou a námořní pomoc. Pershingova doporučení ohledně počtu a dispozice vojsk však převládala , zvláště poté, co se spojenecké bohatství zhoršilo v průběhu roku 1917. Počátkem roku 1918 americké plány volaly po soustředění nezávislé armády na západní frontě, což Pershing doufal, že povede rozhodující ofenzívu proti Německu.
Vyčerpání spojenců, pramenící z neúspěchů roku 1917, zvýšilo jejich závislost na amerických zbraních. Rovněž to vyvolalo tlak na Pershinga, aby odpustil „sloučení“ malých jednotek amerických jednotek do evropských armád, protože spojenci zoufale chtěli nahradit jejich vyčerpané formace, aby odolali očekávaným útokům. Pershing od začátku trval na tom, že integrita americké armády zachována, čímž se pevně postaví proti francouzské výchově a touze Francouzů vtéct do jejich řad novou americkou krev. Pershing se postavil také proti návrhům na přesměrování některých amerických jednotek do sekundárních divadel. Nejvyšší válečná rada, instituce zřízená ke koordinaci vojenská strategie spojenců neustále doporučovala slučování a aby diverzní operace byly prováděny jinde než ve Francii, ale Pershing zůstal nedotčen. Pokud Pershingův postoj zatěžoval vyčerpané spojence, bylo to odůvodněno často citovaným varováním před „nalitím nového vína“ do starých lahví. “ Pershing také cítil, že takové uspořádání by představovalo bezprecedentní oběť národní prestiže.Tvrdil, že nasazení nezávislé americké armády by bylo vážnou ranou pro německou morálku a poskytlo by trvalé pozvednutí amerického sebevědomí.
Zdálo se, že katastrofy z počátku roku 1918 ukazují velké riziko, které bylo podniknuto při hledání Pershingova ideálu. Němci, jejichž armády západní fronty byly silně posíleny kvůli příměří nedávno uzavřenému mezi německými Centrálními mocnostmi a Ruskem, zahájily novou vlnu útoků, jejichž cílem bylo zlomit vůli spojenců dříve, než se Američané mohli rozmístit v síle. Ve druhé bitvě na Sommě postupovaly německé armády 64 mil a zajaly asi 70 000 spojeneckých zajatců. Když německé útoky z března do června 1918 ohrožovaly Paříž, dal Pershing pevně k dispozici všechny své zdroje francouzskému maršálovi Ferdinandovi Fochovi. Tyto tlaky však ustoupily, když Spojenci v létě převzali ofenzívu, a Pershing se vrátil ke své předchozí politice.
Pershingova armáda se nikdy nestala zcela soběstačnou, ale provedla dvě významné operace. V září 1918 AEF úspěšně zaútočilo na výběžek Saint-Mihiel. Poté, na Fochovu žádost, později ten měsíc Pershing rychle přeskupil své síly na ofenzívu Meuse-Argonne, navzdory svým původním plánům postupovat směrem k Metz. Ačkoli neúplné přípravy a nezkušenost zpomalily operace Meuse-Argonne, inter-spojenecká ofenzíva ve Francii zničila německý odpor počátkem října a následující měsíc vedla k příměří.
Pershing byl kritizován za provozní a logistické chyby, ale jeho vytvoření AEF bylo pozoruhodným úspěchem. Vrátil se domů se zdravou pověstí a 1. září 1919 mu byla udělena hodnost generála armád Spojených států. Pershingova přezdívka „Black Jack“, odvozená z jeho služby u černého pluku na začátku jeho kariéry, se stala znamením jeho přísného chování a přísné disciplíny. Jeho odhodlání a odhodlání mu získaly respekt a obdiv svých mužů, ne-li jejich Náklonnost. Pershing se vyhýbá politice, zůstal v armádě a sloužil jako náčelník štábu od roku 1921 až do svého odchodu do důchodu o tři roky později. Pershingovy paměti byly vydány jako Moje zkušenosti ve druhé světové válce, 2. díl (1931).