Banneker, en fånge, växte upp på en gård nära Baltimore som han så småningom skulle ärva från sin far. Även om han regelbundet deltog i ett Quaker-skolhus i ett rum var Banneker till stor del självutbildad och gjorde mycket av sitt lärande genom den glupska läsning av lånade böcker. Tidigt demonstrerade han en speciell anläggning för matematik. Medan han fortfarande var ung (troligen ungefär 20 år) byggde han en träklocka som höll exakt tid. Banneker uppmuntrades i studien av astronomi av George Ellicott, en kvaker och amatörastronom vars familj ägde närliggande kvarnar. Så tidigt som 1788 började Banneker göra astronomiska beräkningar, och han förutspådde exakt en solförmörkelse som inträffade 1789. 1791, medan han arbetade med Andrew Ellicott och andra för att kartlägga det land som skulle bli Washington, DC, gjorde Banneker andra astronomiska observationer. .
Som essayist och broschyr motsatte sig Banneker slaveri och förespråkade medborgerliga rättigheter. År 1791 skickade han ett brev till Thomas Jefferson, dåvarande amerikanska utrikesministern, där han bad Jeffersons hjälp för att skapa bättre villkor för afroamerikaner. Med brevet skickade Banneker också en handskriven kopia av manuskriptet för hans 1792 Pennsylvania, Delaware, Maryland och Virginia Almanack och Ephemeris, som han fortsatte att publicera årligen fram till 1797.