Banneker, un uomo libero, è cresciuto in una fattoria vicino a Baltimora che alla fine avrebbe ereditato da suo padre. Sebbene frequentasse periodicamente una scuola quacchera di una sola stanza, Banneker era in gran parte autodidatta e fece gran parte del suo apprendimento attraverso la lettura vorace di libri presi in prestito. Allinizio ha dimostrato una particolare facilità per la matematica. Quando era ancora un giovane (probabilmente circa 20 anni), costruì un orologio di legno che segnava lora precisa. Banneker fu incoraggiato nello studio dellastronomia da George Ellicott, un quacchero e astronomo dilettante la cui famiglia possedeva mulini nelle vicinanze. Già nel 1788, Banneker iniziò a fare calcoli astronomici e predisse con precisione uneclissi solare avvenuta nel 1789. Nel 1791, mentre lavorava con Andrew Ellicott e altri nel rilevamento della terra che sarebbe diventata Washington, DC, Banneker fece altre osservazioni astronomiche .
In qualità di saggista e scrittore di pamphlet, Banneker si oppose alla schiavitù e difese i diritti civili. Nel 1791 inviò a Thomas Jefferson, allora segretario di stato americano, una lettera in cui chiedeva laiuto di Jefferson per creare condizioni migliori per gli afroamericani. Con la lettera, Banneker inviò anche una copia manoscritta del manoscritto per i suoi 1792 Pennsylvania, Delaware, Maryland e Virginia Almanack and Ephemeris, che continuò a pubblicare annualmente fino al 1797.