Svobodný člověk Banneker byl vychován na farmě poblíž Baltimoru, kterou nakonec zdědí po svém otci. Ačkoli pravidelně navštěvoval školní budovu Quaker v jedné místnosti, byl Banneker převážně sebevzdělaný a hodně se učil nenásytným čtením vypůjčených knih. Hned na začátku předvedl zvláštní zařízení pro matematiku. Ještě jako mladý muž (pravděpodobně asi ve věku 20 let) postavil dřevěné hodiny, které udržovaly přesný čas. Bannekera ve studiu astronomie povzbudil George Ellicott, Quaker a amatérský astronom, jehož rodina vlastnila blízké mlýny. Již v roce 1788 začal Banneker provádět astronomické výpočty a přesně předpověděl zatmění Slunce, ke kterému došlo v roce 1789. V roce 1791 provedl Banneker při spolupráci s Andrewem Ellicottem a dalšími při průzkumu země, která se stane Washingtonem, DC další astronomická pozorování .
Jako esejista a pamfletista se Banneker postavil proti otroctví a prosazoval občanská práva. V roce 1791 poslal Thomas Jefferson, tehdejší americký ministr zahraničí, dopis s žádostí o pomoc Jeffersona při zajišťování lepších podmínek pro afroameričany. V dopise zaslal Banneker také ručně psanou kopii rukopisu pro své 1792 v Pensylvánii, Delaware, Marylandu a Virginii Almanacka a Ephemerise, které každoročně vydával až do roku 1797.