Banneker, un homme libre, a été élevé dans une ferme près de Baltimore quil allait éventuellement hériter de son père. Bien quil fréquente périodiquement une école Quaker à une seule pièce, Banneker était en grande partie autodidacte et a fait une grande partie de son apprentissage par la lecture vorace de livres empruntés. Très tôt, il a démontré une facilité particulière pour les mathématiques. Alors quil était encore jeune (probablement environ 20 ans), il a construit une horloge en bois qui gardait lheure précise. Banneker a été encouragé dans létude de lastronomie par George Ellicott, un quaker et astronome amateur dont la famille possédait des moulins à proximité. Dès 1788, Banneker a commencé à faire des calculs astronomiques, et il a prédit avec précision une éclipse solaire qui sest produite en 1789. En 1791, tout en travaillant avec Andrew Ellicott et dautres pour arpenter la terre qui allait devenir Washington, DC, Banneker a fait dautres observations astronomiques .
En tant quessayiste et pamphlétaire, Banneker sest opposé à lesclavage et a défendu les droits civiques. En 1791, il envoya à Thomas Jefferson, alors secrétaire d’État américain, une lettre demandant l’aide de Jefferson pour améliorer les conditions des Afro-Américains. Avec la lettre, Banneker a également envoyé une copie manuscrite du manuscrit pour son 1792 Pennsylvania, Delaware, Maryland et Virginia Almanack and Ephemeris, quil a continué à publier chaque année jusquen 1797.