Banneker, ein Freeman, wuchs auf einer Farm in der Nähe von Baltimore auf, die er schließlich von seinem Vater erben würde. Obwohl er regelmäßig ein Quäker-Schulhaus mit einem Raum besuchte, war Banneker weitgehend Autodidakt und lernte viel durch das unersättliche Lesen geliehener Bücher. Schon früh demonstrierte er eine besondere Einrichtung für Mathematik. Als er noch ein junger Mann war (wahrscheinlich ungefähr 20 Jahre alt), baute er eine Holzuhr, die die genaue Zeit hielt. Banneker wurde von George Ellicott, einem Quäker und Amateurastronomen, dessen Familie nahegelegene Mühlen besaß, zum Studium der Astronomie ermutigt. Bereits 1788 begann Banneker mit astronomischen Berechnungen und sagte eine Sonnenfinsternis, die 1789 auftrat, genau voraus. 1791 machte Banneker in Zusammenarbeit mit Andrew Ellicott und anderen bei der Vermessung des Landes, das Washington, DC, werden sollte, andere astronomische Beobachtungen
Als Essayist und Pamphleteer widersetzte sich Banneker der Sklaverei und setzte sich für Bürgerrechte ein. 1791 sandte er dem damaligen US-Außenminister Thomas Jefferson einen Brief mit der Bitte um Hilfe von Jefferson, um bessere Bedingungen für Afroamerikaner zu schaffen. Mit dem Brief schickte Banneker auch eine handschriftliche Kopie des Manuskripts für seine 1792 in Pennsylvania, Delaware, Maryland und Virginia Almanack und Ephemeris, die er bis 1797 jährlich veröffentlichte.