Banneker, wolny człowiek, wychował się na farmie w pobliżu Baltimore, którą ostatecznie odziedziczył po swoim ojcu. Chociaż okresowo uczęszczał do jednopokojowego domu szkolnego kwakrów, Banneker był w dużej mierze samoukiem i wiele nauczył się poprzez żarłoczne czytanie wypożyczonych książek. Już na początku zademonstrował szczególne zdolności matematyczne. Będąc jeszcze młodym mężczyzną (prawdopodobnie w wieku około 20 lat), zbudował drewniany zegar, który wskazywał dokładny czas. Banneker był zachęcany do studiowania astronomii przez Georgea Ellicotta, kwakra i astronoma amatora, którego rodzina posiadała pobliskie młyny. Już w 1788 roku Banneker zaczął wykonywać obliczenia astronomiczne i dokładnie przewidział zaćmienie Słońca, które miało miejsce w 1789 roku. W 1791 roku, pracując z Andrew Ellicottem i innymi osobami przy badaniu ziemi, która miała stać się Waszyngtonem, Banneker dokonał innych obserwacji astronomicznych. .
Jako eseista i pamflecista Banneker sprzeciwiał się niewolnictwu i bronił praw obywatelskich. W 1791 r. Wysłał do Thomasa Jeffersona, ówczesnego sekretarza stanu USA, list z prośbą o pomoc w stworzeniu lepszych warunków dla Afroamerykanów. Wraz z listem Banneker wysłał również odręczną kopię rękopisu dla swojego Almanack i Ephemeris z 1792 roku w Pensylwanii, Delaware, Maryland i Wirginii, którą publikował corocznie do 1797 roku.