Pershing dimitterede fra det amerikanske militærakademi i West Point, New York, i 1886. Han blev bestilt som anden løjtnant og tildelt det 6. kavaleri , som derefter gennemførte operationer mod Geronimo og Chiricahua Apache i sydvest. I 1890 tjente Pershing i kampagnen for at undertrykke Ghost Dance-bevægelsen og et oprør blandt Sioux i Dakota-territoriet, men hans enhed deltog ikke i massakren på Wounded Knee. I 1891 blev han instruktør i militærvidenskab ved University of Nebraska, Lincoln. Mens han var der, fik han også en juridisk grad (1893). Han blev udnævnt som instruktør i taktik ved West Point i 1897.
Den spansk-amerikanske krig gav Pershing mulighed for hurtig oprykning. Han tjente på Cuba gennem Santiago-kampagnen (1898) og blev udnævnt til ordnanceofficer med rang af major af frivillige. I juni 1899 blev han gjort til adjutantgeneral. Han organiserede Bureau of Insular Affairs i krigsafdelingen og fungerede som leder af dette bureau i flere måneder. Pershing blev sendt til Filippinerne som adjutant-general for departementet Mindanao i november 1899. Han blev kaptajn i den almindelige hær i 1901 og førte en kampagne mod Moros indtil 1903. I 1905 blev han sendt til Japan som militærattaché til den amerikanske ambassade, og under den russisk-japanske krig tilbragte han flere måneder som observatør hos den japanske hær i Manchuria. Som en anerkendelse af hans tjeneste i Filippinerne har den amerikanske præs. Theodore Roosevelt forfremmede Pershing til brigadegeneral fra rang af kaptajn i 1906 og passerede over 862 mere ældre officerer ved at gøre det. Pershing vendte tilbage til Filippinerne og forblev der indtil 1913 og tjente som kommandør for departementet Mindanao og guvernør i Moro-provinsen. Derefter fik han opmærksomhed som øverstbefalende for den straffeekspedition, der blev sendt mod den mexicanske revolutionære Pancho Villa, der havde razziaet Columbus, New Mexico, i 1916. Efter generalmajor Frederick Funstons død i 1917 efterfulgte Pershing ham som kommandør for USA -Meksikanske grænse.
Efter at USA erklærede krig mod Tyskland (april 1917), præs. Woodrow Wilson valgte Pershing til at befale de amerikanske tropper, der blev sendt til Europa. Overgangen fra de anti-oprørskampagner, der havde kendetegnet meget af Pershings karriere til den enorme stillestående belejring af Vestfronten, var en ekstrem test, men Pershing bragte udfordringen en skarp administrativ sans og en evne til at gennemføre planer på trods af modgang . Med sit personale landede Pershing i Frankrig den 9. juni 1917, og den måned indsendte han en “General Organization Report”, der anbefalede oprettelsen af en hær på en million mand inden 1918 og tre millioner inden 1919. Tidligere amerikansk planlægning havde ikke overvejet sådan en Efter at have antaget, at AEF ikke kunne organiseres i tide til at støtte militære operationer på vestfronten, havde de allierede kun bedt om finansiel, økonomisk og flådestøtte. Pershings anbefalinger vedrørende antallet og dispositionen af tropper var dog fremherskende. , især efter at de allieredes formuer blev forværret i løbet af 1917. I begyndelsen af 1918 havde amerikanske planer opfordret til at koncentrere en uafhængig hær på Vestfronten, som Pershing håbede ville være en spids i spidsen for en afgørende offensiv mod Tyskland.
De allieredes udmattelse som følge af tilbageslag i 1917 øgede deres afhængighed af amerikanske våben. Det skabte også pres på Pershing om at kondensere “sammensmeltningen” af små enheder af amerikanske tropper til europæiske hære, da de allierede desperat ønskede udskiftninger for deres udtømte formationer for at modstå forventede angreb. Pershing insisterede fra starten på, at integriteten af den amerikanske hær bevares, hvilket gør en fast holdning mod fransk vejledning og det franske ønske om at indgyde det nye amerikanske blod i deres rækker. Pershing modsatte sig også forslag om at omdirigere nogle amerikanske tropper til sekundære teatre. Supreme War Council, en institution oprettet for at koordinere det politiske- de allieredes militære strategi, til stadighed anbefalet sammensmeltning og at afledningsoperationer gennemføres andetsteds end i Frankrig, men Pershing forblev ubevægelig. Hvis Pershings holdning belastede de udmattede allierede, var det berettiget med den ofte citerede advarsel mod “hældning af ny vin i gamle flasker. ” Pershing følte også, at en sådan ordning ville repræsentere et hidtil uset offer for national prestige.Han argumenterede for, at udsendelse af en uafhængig amerikansk hær ville være et alvorligt slag for den tyske moral og give en permanent løft til amerikansk selvtillid.
Katastroferne i begyndelsen af 1918 syntes at demonstrere den store risiko, der var taget for at forfølge Pershings ideal. Tyskerne, deres vestlige fronthære var blevet stærkt forstærket på grund af våbenhvilen, der for nylig blev indgået mellem de tyskledede centralmagter og Rusland, påbegyndte en ny bølge af angreb designet til at bryde de allieredes vilje, før amerikanerne kunne indsætte i styrke. I det andet slag ved Somme avancerede tyske hære 64 km og fangede omkring 70.000 allierede fanger. Da de tyske offensiver fra marts-juni 1918 truede Paris, stillede Pershing alle sine ressourcer bestemt til rådighed for den franske marskal Ferdinand Foch. Dette pres aftog, da de allierede overtog offensiven i løbet af sommeren, og Pershing vendte tilbage til sin tidligere politik.
Pershings hær blev aldrig helt selvforsynende, men den gennemførte to betydelige operationer. I september 1918 angreb AEF Saint-Mihiel fremtrædende med succes. På Fochs anmodning omgrupperede Pershing senere samme måned hurtigt sine styrker til Meuse-Argonne-offensiven på trods af hans oprindelige planer om at komme videre mod Metz. Skønt ufuldstændige forberedelser og uerfarenhed bremsede Meuse-Argonne-operationerne, ødelagde den interallierede offensiv i Frankrig tysk modstand i begyndelsen af oktober og førte til våbenstilstand den følgende måned.
Pershing blev kritiseret for operationelle og logistiske fejl, men hans oprettelse af AEF var en bemærkelsesværdig bedrift. Han vendte hjem med et godt omdømme, og den 1. september 1919 fik han rang af general for de amerikanske hære. Pershings kaldenavn, “Black Jack”, afledt af hans tjeneste hos et sort regiment tidligt i sin karriere, var kommet for at betegne hans strenge bæreevne og stive disciplin. Hans beslutsomhed og dedikation havde vundet ham respekt og beundring af hans mænd, hvis ikke deres hengivenhed.Eschew politik forblev Pershing i hæren og tjente som stabschef fra 1921 indtil hans pensionering tre år senere. Pershings erindringer blev offentliggjort som Mine oplevelser i verdenskrig, 2 bind (1931).