Banneker, en fri mann, ble oppdratt på en gård nær Baltimore som han til slutt ville arve fra faren. Selv om han med jevne mellomrom deltok i et Quaker-skolehus med ett rom, var Banneker stort sett egenutdannet og gjorde mye av sin læring gjennom glupsk lesing av lånte bøker. Tidlig demonstrerte han et spesielt anlegg for matematikk. Mens han fortsatt var en ung mann (sannsynligvis omtrent 20 år gammel), bygde han en treklokke som holdt nøyaktig tid. Banneker ble oppmuntret i studiet av astronomi av George Ellicott, en kvaker og amatørastronom med familie som eide fabrikker i nærheten. Allerede i 1788 begynte Banneker å gjøre astronomiske beregninger, og han forutsa nøyaktig en solformørkelse som skjedde i 1789. I 1791, mens han jobbet med Andrew Ellicott og andre for å kartlegge landet som skulle bli Washington, DC, gjorde Banneker andre astronomiske observasjoner. .
Som essayist og pamflett, motsatte Banneker slaveri og gikk inn for borgerrettigheter. I 1791 sendte han Thomas Jefferson, daværende amerikanske utenriksminister, et brev der han ba Jeffersons hjelp med å skape bedre forhold for afroamerikanere. Med brevet sendte Banneker også en håndskrevet kopi av manuskriptet for hans 1792 Pennsylvania, Delaware, Maryland og Virginia Almanack og Ephemeris, som han fortsatte å publisere årlig gjennom 1797.