Banneker szabadembert egy Baltimore melletti tanyán nevelték fel, amelyet végül apjától örökölt. Bár rendszeresen járt egyszobás kvékeri iskolában, Banneker nagyrészt saját nevelésű volt, és a tanulás nagy részét a kölcsönzött könyvek falánk olvasásával végezte. Korán bemutatta a matematika sajátos lehetőségét. Míg fiatalember volt (valószínűleg 20 éves), fából készült órát épített, amely pontos időt tartott. Bannekert a csillagászat tanulmányozásában George Ellicott, kvéker és amatőr csillagász ösztönözte, akinek a családja közeli malmokkal rendelkezett. Banneker már 1788-ban csillagászati számításokat kezdett végezni, és pontosan megjósolta az 1789-ben bekövetkezett napfogyatkozást. 1791-ben, miközben Andrew Ellicotttal és másokkal együtt dolgozták a Washington DC-bé váló földterület felmérését, Banneker más csillagászati megfigyeléseket tett. .
Mint esszéíró és pamfletíró Banneker ellenezte a rabszolgaságot és támogatta az állampolgári jogokat. 1791-ben levelet küldött Thomas Jeffersonnak, akkori amerikai külügyminiszternek, amelyben Jefferson segítségét kérte az afroamerikaiak jobb körülményeinek megteremtéséhez. A levéllel Banneker kézírásos másolatot is küldött az 1792-es Pennsylvania, Delaware, Maryland, valamint Virginia Almanack és Ephemeris című kéziratáról, amelyet továbbra is évente 1797-ig publikált.