Banneker, un hombre libre, se crió en una granja cerca de Baltimore que eventualmente heredaría de su padre. Aunque asistía periódicamente a una escuela cuáquera de una sola habitación, Banneker fue en gran parte autodidacta e hizo gran parte de su aprendizaje a través de la lectura voraz de libros prestados. Al principio demostró una facilidad particular para las matemáticas. Siendo todavía un hombre joven (probablemente alrededor de los 20 años), construyó un reloj de madera que marcaba la hora exacta. Banneker fue alentado en el estudio de la astronomía por George Ellicott, un cuáquero y astrónomo aficionado cuya familia poseía molinos cercanos. Ya en 1788, Banneker comenzó a hacer cálculos astronómicos y predijo con precisión un eclipse solar que se produciría en 1789. En 1791, mientras trabajaba con Andrew Ellicott y otros en la topografía de la tierra que se convertiría en Washington, DC, Banneker hizo otras observaciones astronómicas .
Como ensayista y panfletista, Banneker se opuso a la esclavitud y defendió los derechos civiles. En 1791 envió a Thomas Jefferson, entonces secretario de Estado de los Estados Unidos, una carta solicitando la ayuda de Jefferson para lograr mejores condiciones para los afroamericanos. Con la carta, Banneker también envió una copia manuscrita del manuscrito de su Almanaque y Efemérides de Pennsylvania, Delaware, Maryland y Virginia de 1792, que continuó publicando anualmente hasta 1797.