Vapaamies Banneker kasvatettiin Baltimoren lähellä sijaitsevalla maatilalla, jonka hän lopulta perisi isältään. Vaikka hän kävi säännöllisesti yhden huoneen kveekarikoulussa, Banneker oli suurelta osin itseoppinut ja teki suuren osan oppimisestaan lukemalla lainattuja kirjoja. Varhain hän osoitti erityisen matematiikan laitoksen. Vaikka hän oli vielä nuori mies (todennäköisesti noin 20-vuotias), hän rakensi puukellon, joka piti tarkkaa aikaa. George Ellicott, kveekari ja harrastetähtitieteilijä, jonka perhe omisti läheisiä myllyjä, kannusti Bannekeria tähtitieteen tutkimuksessa. Jo vuonna 1788 Banneker alkoi tehdä tähtitieteellisiä laskelmia, ja hän ennusti tarkasti vuonna 1789. tapahtuneen auringonpimennyksen. Vuonna 1791 työskennellessään Andrew Ellicottin ja muiden kanssa maanmittauksessa, josta tulisi Washington DC, Banneker teki muita tähtitieteellisiä havaintoja .
Esseistinä ja pamfletoijana Banneker vastusti orjuutta ja kannatti kansalaisoikeuksia. Vuonna 1791 hän lähetti Thomas Jeffersonille, tuolloin Yhdysvaltain ulkoministerille, kirjeen, jossa hän pyysi Jeffersonin apua parempien olosuhteiden luomisessa afrikkalaisamerikkalaisille. Kirjeellä Banneker lähetti myös käsinkirjoitetun kopion käsikirjoituksesta hänen vuodelta 1792 Pennsylvania, Delaware, Maryland ja Virginia Almanack ja Ephemeris, jota hän jatkoi julkaisemista vuosittain vuoteen 1797.