Pershing absolvierte 1886 die Militärakademie der Vereinigten Staaten in West Point, New York. Er wurde zum zweiten Leutnant ernannt und der 6. Kavallerie zugeteilt , die damals Operationen gegen Geronimo und den Chiricahua Apache im Südwesten durchführte. 1890 diente Pershing in der Kampagne zur Unterdrückung der Ghost Dance-Bewegung und eines Aufstands unter den Sioux im Dakota-Territorium, aber seine Einheit nahm nicht an dem Massaker in Wounded Knee teil. 1891 wurde er Dozent für Militärwissenschaft an der University of Nebraska in Lincoln. Dort erwarb er auch ein Jurastudium (1893). Er wurde 1897 zum Taktiklehrer in West Point ernannt.
Der Spanisch-Amerikanische Krieg gab Pershing die Möglichkeit einer raschen Beförderung. Er diente in Kuba während der Santiago-Kampagne (1898) und wurde zum Kampfmitteloffizier im Rang eines Major der Freiwilligen ernannt. Im Juni 1899 wurde er zum Generaladjutanten ernannt. Er organisierte das Büro für Inselangelegenheiten im Kriegsministerium und war mehrere Monate lang Leiter dieses Büros. Pershing wurde im November 1899 als Generaladjutant des Departements Mindanao auf die Philippinen entsandt. Er wurde 1901 zum Hauptmann der regulären Armee ernannt und führte bis 1903 einen Feldzug gegen die Moros durch. 1905 wurde er als Militärattaché nach Japan geschickt der US-Botschaft, und während des russisch-japanischen Krieges verbrachte er mehrere Monate als Beobachter bei der japanischen Armee in der Mandschurei. In Anerkennung seines Dienstes auf den Philippinen hat der US-Präsident. Theodore Roosevelt beförderte Pershing 1906 vom Rang eines Kapitäns zum Brigadegeneral und überholte dabei 862 hochrangige Offiziere. Pershing kehrte auf die Philippinen zurück und blieb dort bis 1913 als Kommandeur des Departements Mindanao und Gouverneur der Provinz Moro. Als nächstes erlangte er Aufmerksamkeit als Kommandeur der Strafexpedition gegen den mexikanischen Revolutionär Pancho Villa, der 1916 Columbus, New Mexico, überfallen hatte. Nach dem Tod von Generalmajor Frederick Funston im Jahr 1917 trat Pershing die Nachfolge als Kommandeur der USA an -Mexikanische Grenze.
Nachdem die Vereinigten Staaten Deutschland den Krieg erklärt hatten (April 1917), wurde Pres. Woodrow Wilson wählte Pershing aus, um die amerikanischen Truppen zu befehligen, die nach Europa geschickt werden. Der Übergang von den Aufstandsbekämpfungskampagnen, die einen Großteil von Pershings Karriere geprägt hatten, zu der gewaltigen stagnierenden Belagerung der Westfront war ein extremer Test, aber Pershing brachte trotz widriger Umstände einen ausgeprägten administrativen Sinn und ein Händchen für die Durchführung von Plänen mit sich . Mit seinen Mitarbeitern landete Pershing am 9. Juni 1917 in Frankreich. In diesem Monat legte er einen „Bericht der Allgemeinen Organisation“ vor, in dem die Schaffung einer Armee von einer Million Mann bis 1918 und drei Millionen Mann bis 1919 empfohlen wurde. Frühere amerikanische Planungen hatten dies nicht in Betracht gezogen eine große Armee. Nachdem die Alliierten angenommen hatten, dass die AEF nicht rechtzeitig organisiert werden könne, um militärische Operationen an der Westfront zu unterstützen, hatten sie nur um finanzielle, wirtschaftliche und maritime Unterstützung gebeten. Pershings Empfehlungen bezüglich der Anzahl und Disposition der Truppen waren jedoch maßgebend Besonders nachdem sich das Vermögen der Alliierten im Jahr 1917 verschlechtert hatte. Bis Anfang 1918 hatten amerikanische Pläne die Konzentration einer unabhängigen Armee an der Westfront gefordert, von der Pershing hoffte, dass sie eine entscheidende Offensive gegen Deutschland anführen würde.
Die Erschöpfung der Alliierten infolge der Rückschläge von 1917 erhöhte ihre Abhängigkeit von US-Waffen. Es übte auch Druck auf Pershing aus, die „Verschmelzung“ kleiner Einheiten amerikanischer Truppen zu europäischen Armeen zu dulden, da die Alliierten dringend Ersatz für ihre erschöpften Formationen wollten, um den erwarteten Angriffen zu widerstehen. Von Anfang an bestand Pershing auf der Integrität der amerikanischen Armee erhalten bleiben und sich entschieden gegen die französische Vormundschaft und den französischen Wunsch stellen, das neue amerikanische Blut in ihre Reihen zu bringen. Pershing lehnte auch Vorschläge ab, einige US-Truppen in sekundäre Theater umzuleiten. Die militärische Strategie der Alliierten empfahl fortwährend die Zusammenlegung und die Durchführung von Ablenkungsoperationen anderswo als in Frankreich, aber Pershing blieb ungerührt. Wenn Pershings Haltung die erschöpften Alliierten belastete, wurde dies durch die oft zitierte Warnung vor dem „Eingießen neuen Weins“ gerechtfertigt in alte Flaschen. “ Pershing war auch der Ansicht, dass eine solche Vereinbarung ein beispielloses Opfer des nationalen Prestiges darstellen würde.Er argumentierte, dass das Aufstellen einer unabhängigen amerikanischen Armee einen schweren Schlag für die deutsche Moral darstellen und das amerikanische Selbstbewusstsein dauerhaft stärken würde.
Die Katastrophen von Anfang 1918 schienen das große Risiko aufzuzeigen, das eingegangen wurde, um Pershings Ideal zu verfolgen. Die Deutschen, deren Armeen an der Westfront aufgrund des kürzlich zwischen den deutsch geführten Mittelmächten und Russland geschlossenen Waffenstillstands stark verstärkt worden waren, starteten eine neue Welle von Angriffen, um den Willen der Alliierten zu brechen, bevor die Amerikaner ihre Kräfte entfalten konnten. In der zweiten Schlacht an der Somme rückten deutsche Armeen 64 km vor und nahmen rund 70.000 alliierte Gefangene gefangen. Als die deutschen Offensiven von März bis Juni 1918 Paris bedrohten, stellte Pershing dem französischen Marschall Ferdinand Foch alle seine Ressourcen zur Verfügung. Dieser Druck ließ jedoch nach, als die Alliierten im Sommer die Offensive übernahmen und Pershing zu seiner vorherigen Politik zurückkehrte.
Pershings Armee wurde nie völlig autark, führte jedoch zwei bedeutende Operationen durch. Im September 1918 griff die AEF den herausragenden Saint-Mihiel erfolgreich an. Dann, auf Fochs Wunsch, stellte Pershing später in diesem Monat seine Streitkräfte schnell für die Maas-Argonne-Offensive zusammen, trotz seiner ursprünglichen Pläne, in Richtung Metz vorzurücken. Obwohl unvollständige Vorbereitungen und Unerfahrenheit die Operationen zwischen Maas und Argonne verlangsamten, zerstörte die Offensive der Alliierten in Frankreich Anfang Oktober den deutschen Widerstand und führte im folgenden Monat zum Waffenstillstand.
Pershing wurde wegen operativer und logistischer Fehler kritisiert. Aber seine Gründung der AEF war eine bemerkenswerte Leistung. Er kehrte mit einem guten Ruf nach Hause zurück und erhielt am 1. September 1919 den Rang eines Generals der Armeen der Vereinigten Staaten. Pershings Spitzname „Black Jack“, der sich aus seinem Dienst bei einem schwarzen Regiment zu Beginn seiner Karriere ableitete, war gekommen, um seine strenge Haltung und strenge Disziplin zu kennzeichnen. Seine Entschlossenheit und sein Engagement hatten ihm den Respekt und die Bewunderung seiner Männer eingebracht, wenn nicht sogar ihrer Zuneigung. Pershing verzichtete auf Politik und blieb in der Armee. Von 1921 bis zu seiner Pensionierung drei Jahre später war er Stabschef. Pershings Memoiren wurden als Meine Erfahrungen im Weltkrieg, 2 Bd. (1931) veröffentlicht.