Pershing si laureò allAccademia militare degli Stati Uniti a West Point, New York, nel 1886. Fu nominato sottotenente e assegnato alla 6a cavalleria , che allora stava conducendo operazioni contro Geronimo e gli Apache Chiricahua nel sud-ovest. Nel 1890 Pershing prestò servizio nella campagna per sopprimere il movimento Ghost Dance e una rivolta tra i Sioux nel territorio del Dakota, ma la sua unità non partecipò al massacro di Wounded Knee. Nel 1891 divenne istruttore di scienze militari presso lUniversità del Nebraska, a Lincoln. Mentre era lì ha anche conseguito una laurea in legge (1893). Fu nominato istruttore di tattica a West Point nel 1897.
La guerra ispano-americana diede a Pershing unopportunità per una rapida promozione. Ha servito a Cuba durante la campagna di Santiago (1898) ed è stato nominato ufficiale di ordigni con il grado di maggiore dei volontari. Nel giugno 1899 fu nominato aiutante generale. Ha organizzato il Bureau of Insular Affairs nel Dipartimento della Guerra e ha agito come capo di tale ufficio per diversi mesi. Pershing fu inviato nelle Filippine come aiutante generale del dipartimento di Mindanao nel novembre 1899. Fu nominato capitano dellesercito regolare nel 1901 e condusse una campagna contro i Moros fino al 1903. Nel 1905 fu inviato in Giappone come addetto militare al lambasciata degli Stati Uniti, e durante la guerra russo-giapponese ha trascorso diversi mesi come osservatore con lesercito giapponese in Manciuria. In riconoscimento del suo servizio nelle Filippine, il Pres. Theodore Roosevelt promosse Pershing a generale di brigata dal grado di capitano nel 1906, passando oltre 862 ufficiali più anziani nel farlo. Pershing tornò nelle Filippine e vi rimase fino al 1913, servendo come comandante del dipartimento di Mindanao e governatore della provincia di Moro. Successivamente ottenne lattenzione come comandante della spedizione punitiva inviata contro il rivoluzionario messicano Pancho Villa, che aveva fatto irruzione a Columbus, nel New Mexico, nel 1916. Dopo la morte del Magg. Gen. Frederick Funston nel 1917, Pershing gli succedette come comandante negli Stati Uniti -Confine messicana.
Dopo che gli Stati Uniti dichiararono guerra alla Germania (aprile 1917), Pres. Woodrow Wilson scelse Pershing per comandare le truppe americane inviate in Europa. Il passaggio dalle campagne anti-insurrezionali che avevano caratterizzato gran parte della carriera di Pershing al vasto assedio stagnante del fronte occidentale fu una prova estrema, ma Pershing portò alla sfida un acuto senso amministrativo e un talento per portare a termine i piani nonostante le avversità . Con il suo staff, Pershing sbarcò in Francia il 9 giugno 1917, e quel mese presentò un “Rapporto dellOrganizzazione Generale” che raccomandava la creazione di un esercito di un milione di uomini entro il 1918 e tre milioni entro il 1919. La precedente pianificazione americana non aveva contemplato tale un grande esercito. Avendo supposto che lAEF non potesse essere organizzato in tempo per supportare le operazioni militari sul fronte occidentale, gli Alleati avevano chiesto solo assistenza finanziaria, economica e navale. Le raccomandazioni di Pershing riguardo al numero e alla disposizione delle truppe, tuttavia, prevalsero , soprattutto dopo che le fortune alleate peggiorarono durante il 1917. Allinizio del 1918, i piani americani richiedevano di concentrare un esercito indipendente sul fronte occidentale, che Pershing sperava avrebbe guidato unoffensiva decisiva contro la Germania.
Lesaurimento degli Alleati, derivante dalle battute darresto del 1917, aumentò la loro dipendenza dalle armi statunitensi. Ha anche generato pressioni su Pershing affinché perdonasse la “fusione” di piccole unità di truppe americane in eserciti europei, poiché gli alleati volevano disperatamente sostituti per le loro formazioni impoverite per resistere agli attacchi previsti. Fin dallinizio, Pershing ha insistito sul fatto che lintegrità dellesercito americano essere preservato, prendendo una posizione ferma contro la tutela francese e il desiderio francese di infondere il nuovo sangue americano nei loro ranghi. Pershing si oppose anche alle proposte di dirottare alcune truppe statunitensi nei teatri secondari. Il Consiglio Supremo di Guerra, unistituzione istituita per strategia militare degli Alleati, raccomandava continuamente la fusione e che le operazioni diversive fossero condotte altrove che in Francia, ma Pershing rimase impassibile. Se la posizione di Pershing imponeva una tensione agli alleati esausti, era giustificata dal spesso citato avvertimento di non “versare vino nuovo in vecchie bottiglie. ” Pershing pensava anche che un simile accordo avrebbe rappresentato un sacrificio senza precedenti di prestigio nazionale.Ha sostenuto che schierare un esercito americano indipendente sarebbe stato un duro colpo per il morale tedesco e avrebbe fornito un miglioramento permanente alla fiducia in se stessi degli americani.
I disastri dellinizio del 1918 sembravano dimostrare il grande rischio che era stato corso nel perseguimento dellideale di Pershing. I tedeschi, i loro eserciti del fronte occidentale essendo stati fortemente rafforzati a causa dellarmistizio recentemente concluso tra le potenze centrali a guida tedesca e la Russia, hanno intrapreso una nuova ondata di attacchi progettati per spezzare la volontà degli alleati prima che gli americani potessero schierarsi in forza. Durante la seconda battaglia della Somme, gli eserciti tedeschi avanzarono di 40 miglia (64 km) e catturarono circa 70.000 prigionieri alleati. Quando le offensive tedesche del marzo-giugno 1918 minacciarono Parigi, Pershing mise saldamente tutte le sue risorse a disposizione del maresciallo francese Ferdinand Foch. Queste pressioni si placarono quando gli alleati presero loffensiva durante lestate, tuttavia, e Pershing tornò alla sua precedente politica.
Lesercito di Pershing non divenne mai del tutto autosufficiente, ma condusse due operazioni significative. Nel settembre 1918 lAEF attaccò con successo il saliente di Saint-Mihiel. Quindi, su richiesta di Foch, più tardi quel mese Pershing raggruppò rapidamente le sue forze per loffensiva Mosa-Argonne, nonostante i suoi piani originali di avanzare verso Metz. Sebbene i preparativi incompleti e linesperienza rallentarono le operazioni della Mosa-Argonne, loffensiva inter-alleata in Francia distrusse la resistenza tedesca allinizio di ottobre e portò allarmistizio il mese successivo.
Pershing fu criticato per errori operativi e logistici, ma la sua creazione dellAEF è stata un risultato notevole. Tornò a casa con una buona reputazione e, il 1 ° settembre 1919, gli fu conferito il grado di generale degli eserciti degli Stati Uniti. Il soprannome di Pershing, “Black Jack”, derivato dal suo servizio con un reggimento nero allinizio della sua carriera, era diventato segno del suo portamento severo e della rigida disciplina. La sua determinazione e dedizione gli avevano fatto guadagnare il rispetto e lammirazione dei suoi uomini, se non la loro affetto. Evitando la politica, Pershing rimase nellesercito, servendo come capo di stato maggiore dal 1921 fino al suo ritiro, tre anni dopo. Le memorie di Pershing furono pubblicate come My Experiences in the World War, 2 vol. (1931).