Banneker, liber, a fost crescut într-o fermă de lângă Baltimore pe care în cele din urmă avea să o moștenească de la tatăl său. Deși a participat periodic la o școală cu o cameră Quaker, Banneker a fost în mare parte autoeducat și și-a făcut o mare parte din învățare prin citirea vorace a cărților împrumutate. La început a demonstrat o facilitate specială pentru matematică. În timp ce era încă tânăr (probabil aproximativ 20 de ani), a construit un ceas din lemn care păstra ora precisă. Banneker a fost încurajat în studiul astronomiei de George Ellicott, un quaker și astronom amator a cărui familie deținea morile din apropiere. Încă din 1788, Banneker a început să facă calcule astronomice și a prezis cu acuratețe o eclipsă de soare care a avut loc în 1789. În 1791, în timp ce lucra cu Andrew Ellicott și alții la cercetarea terenului care avea să devină Washington, DC, Banneker a făcut alte observații astronomice. .
În calitate de eseist și pamfletar, Banneker s-a opus sclaviei și a susținut drepturile civile. În 1791 i-a trimis lui Thomas Jefferson, pe atunci secretarul de stat al SUA, o scrisoare prin care solicita ajutorul lui Jefferson pentru a crea condiții mai bune pentru afro-americani. Cu scrisoarea, Banneker a trimis și o copie scrisă de mână a manuscrisului pentru 1792 Pennsylvania, Delaware, Maryland și Virginia Almanack și Efemeride, pe care a continuat să le publice anual până în 1797.