Pershing ble uteksaminert fra United States Military Academy i West Point, New York, i 1886. Han ble bestilt som andre løytnant og tildelt det sjette kavaleriet , som da gjennomførte operasjoner mot Geronimo og Chiricahua Apache i sørvest. I 1890 tjente Pershing i kampanjen for å undertrykke Ghost Dance-bevegelsen og et opprør blant Sioux i Dakota-territoriet, men hans enhet deltok ikke i massakren på Wounded Knee. I 1891 ble han instruktør i militærvitenskap ved University of Nebraska, Lincoln. Mens han var der, fikk han også en juridisk grad (1893). Han ble utnevnt som instruktør i taktikk ved West Point i 1897.
Den spansk-amerikanske krigen ga Pershing en mulighet for rask opprykk. Han tjente på Cuba gjennom Santiago-kampanjen (1898) og ble utnevnt til ordnantsoffiser med rang som major av frivillige. I juni 1899 ble han gjort til adjutantgeneral. Han organiserte Bureau of Insular Affairs i krigsdepartementet og fungerte som leder for dette byrået i flere måneder. Pershing ble sendt til Filippinene som adjutantgeneral for avdelingen Mindanao i november 1899. Han ble gjort til kaptein i den vanlige hæren i 1901 og førte en kampanje mot Moros til 1903. I 1905 ble han sendt til Japan som militærattaché til den amerikanske ambassaden, og i løpet av den russisk-japanske krigen tilbrakte han flere måneder som observatør hos den japanske hæren i Mandsjuria. Som en anerkjennelse for sin tjeneste på Filippinene, ga USAs pres. Theodore Roosevelt forfremmet Pershing til brigadegeneral fra rang som kaptein i 1906, og passerte over 862 eldre offiserer ved å gjøre det. Pershing kom tilbake til Filippinene og ble der til 1913, og tjente som sjef for departementet Mindanao og guvernør i Moro-provinsen. Han fikk deretter oppmerksomhet som sjef for den straffeekspedisjonen som ble sendt mot den meksikanske revolusjonære Pancho Villa, som hadde raidet Columbus, New Mexico, i 1916. Etter generalmajor Frederick Funstons død i 1917 etterfulgte Pershing ham som sjef for USA. -Meksikansk grense.
Etter at USA erklærte krig mot Tyskland (april 1917), pres. Woodrow Wilson valgte Pershing til å befale de amerikanske troppene som ble sendt til Europa. Overgangen fra anti-opprørskampanjer som hadde preget mye av Pershings karriere til den enorme stillestående beleiringen av Vestfronten var en ekstrem test, men Pershing brakte utfordringen en skarp administrativ sans og en evne til å gjennomføre planer til tross for motgang. . Med sine ansatte landet Pershing i Frankrike 9. juni 1917, og den måneden sendte han inn en «General Organization Report» med anbefaling om å opprette en hær på en million menn innen 1918 og tre millioner innen 1919. Tidligere amerikansk planlegging hadde ikke tenkt på en slik Etter å ha antatt at AEF ikke kunne organiseres i tide for å støtte militære operasjoner på Vestfronten, hadde de allierte bare bedt om finansiell, økonomisk og marin bistand. Pershings anbefalinger angående antall og disponering av tropper rådet imidlertid , spesielt etter at de alliertes formuer forverret seg i løpet av 1917. Tidlig i 1918 hadde amerikanske planer kalt for å konsentrere en uavhengig hær på vestfronten, som Pershing håpet ville være en spydspiss for en avgjørende offensiv mot Tyskland.
De alliertes utmattelse, som skyldes tilbakeslagene i 1917, økte deres avhengighet av amerikanske våpen. Det skapte også press på Pershing om å godta «sammenslåing» av små enheter av amerikanske tropper til europeiske hærer, da de allierte desperat ønsket erstatninger for deres utarmede formasjoner for å motstå forventede angrep. Fra begynnelsen insisterte Pershing på at den amerikanske hærens integritet. bevares, og stiller seg fast mot fransk veiledning og det franske ønsket om å tilføre det nye amerikanske blodet til deres rekker. Pershing motsatte seg også forslag om å avlede noen amerikanske tropper til sekundære teatre. Supreme War Council, en institusjon opprettet for å koordinere det politiske- de alliertes militære strategi, kontinuerlig anbefalt sammenslåing og at avledningsoperasjoner utføres andre steder enn i Frankrike, men Pershing forble uberørt. Hvis Pershings holdning presset de utmattede allierte, ble det rettferdiggjort av den ofte siterte advarselen mot «å skjenke ny vin i gamle flasker. ” Pershing følte også at en slik ordning ville representere et enestående offer av nasjonal prestisje.Han argumenterte for at utvisning av en uavhengig amerikansk hær ville være et alvorlig slag mot tysk moral og gi en permanent løfting til amerikansk selvtillit.
Katastrofene i begynnelsen av 1918 så ut til å demonstrere den store risikoen som var tatt i forfølgelsen av Pershings ideal. Tyskerne, deres vestlige fronthærer var sterkt forsterket på grunn av våpenhvilen som nylig ble inngått mellom de tyskledede sentralmaktene og Russland, satte i gang en ny bølge av angrep designet for å bryte de alliertes vilje før amerikanerne kunne distribuere i styrke. I det andre slaget ved Somme rykket tyske hærer 64 kilometer unna og fanget rundt 70 000 allierte fanger. Da de tyske offensivene fra mars til juni 1918 truet Paris, stilte Pershing alle sine ressurser til rådighet for den franske marskalk Ferdinand Foch. Dette presset avtok da de allierte påtok seg offensiven i løpet av sommeren, og Pershing vendte tilbake til sin tidligere politikk.
Pershings hær ble aldri helt selvforsynt, men den gjennomførte to viktige operasjoner. I september 1918 angrep AEF Saint-Mihiel fremtredende med hell. Så, på Fochs forespørsel, omgrupperte Pershing raskt styrkene sine for Meuse-Argonne-offensiven, til tross for hans opprinnelige planer om å rykke mot Metz. Selv om ufullstendige forberedelser og uerfarenhet bremset operasjonene i Meuse-Argonne, ødela den interallierte offensiven i Frankrike tysk motstand tidlig i oktober og førte til våpenstilstanden neste måned.
Pershing ble kritisert for operasjonelle og logistiske feil, men hans opprettelse av AEF var en bemerkelsesverdig prestasjon. Han kom hjem med et godt omdømme, og den 1. september 1919 ble han gitt rang av general for hærene i USA. Pershings kallenavn, «Black Jack», avledet av hans tjeneste for et svart regiment tidlig i karrieren, hadde kommet for å betegne hans strenge drag og stive disiplin. Hans besluttsomhet og dedikasjon hadde fått ham respekt og beundring av hans menn, om ikke deres hengivenhet. Pershing ble værende i hæren og tjente som stabssjef fra 1921 til han ble pensjonist tre år senere. Pershings memoarer ble utgitt som My Experiences in the World War, 2 vol. (1931).