Banneker, en freeman, blev rejst på en gård nær Baltimore, som han til sidst ville arve fra sin far. Selvom han med jævne mellemrum deltog i et Quaker-skolehus med et værelse, var Banneker stort set selvuddannet og gjorde meget af sin læring gennem den grådige læsning af lånte bøger. Tidligt demonstrerede han en særlig facilitet til matematik. Mens han stadig var en ung mand (sandsynligvis omkring 20 år), byggede han et træur, der holdt præcis tid. Banneker blev opmuntret i studiet af astronomi af George Ellicott, en kvager og amatørastronom, hvis familie ejede nærliggende møller. Så tidligt som i 1788 begyndte Banneker at foretage astronomiske beregninger, og han forudsagde nøjagtigt en solformørkelse, der opstod i 1789. I 1791, mens han arbejdede med Andrew Ellicott og andre i landmåling af det land, der ville blive Washington, DC, foretog Banneker andre astronomiske observationer. .
Som essayist og pamfletter var Banneker imod slaveri og fortalte borgerrettigheder. I 1791 sendte han et brev til Thomas Jefferson, daværende amerikanske udenrigsminister, hvor han bad Jeffersons hjælp til at skabe bedre forhold for afroamerikanere. Med brevet sendte Banneker også en håndskrevet kopi af manuskriptet til hans 1792 Pennsylvania, Delaware, Maryland og Virginia Almanack og Ephemeris, som han fortsatte med at offentliggøre årligt gennem 1797.