Banneker, um homem livre, foi criado em uma fazenda perto de Baltimore que viria a herdar de seu pai. Embora frequentasse periodicamente uma escola quacre de uma única sala, Banneker foi em grande parte autodidata e aprendeu muito por meio da leitura voraz de livros emprestados. No início, ele demonstrou uma facilidade especial para a matemática. Ainda jovem (provavelmente cerca de 20 anos), ele construiu um relógio de madeira que marcava a hora exata. Banneker foi incentivado no estudo da astronomia por George Ellicott, um quaker e astrônomo amador cuja família possuía moinhos próximos. Já em 1788, Banneker começou a fazer cálculos astronômicos e previu com precisão um eclipse solar que ocorreu em 1789. Em 1791, enquanto trabalhava com Andrew Ellicott e outros no levantamento da terra que se tornaria Washington, DC, Banneker fez outras observações astronômicas .
Como ensaísta e panfletário, Banneker se opôs à escravidão e defendeu os direitos civis. Em 1791, ele enviou a Thomas Jefferson, então secretário de Estado dos EUA, uma carta pedindo a ajuda de Jefferson para trazer melhores condições para os afro-americanos. Com a carta, Banneker também enviou uma cópia manuscrita do manuscrito para seu 1792 na Pensilvânia, Delaware, Maryland e Virginia Almanack e Ephemeris, que continuou a publicar anualmente até 1797.