Banneker, een vrije man, groeide op op een boerderij in de buurt van Baltimore die hij uiteindelijk van zijn vader zou erven. Hoewel hij af en toe naar een Quaker-schoolgebouw met één kamer ging, was Banneker grotendeels autodidact en leerde hij veel van zijn kennis door het gretig lezen van geleende boeken. Al vroeg demonstreerde hij een bijzondere faciliteit voor wiskunde. Toen hij nog een jonge man was (waarschijnlijk ongeveer 20 jaar oud), bouwde hij een houten klok die de tijd nauwkeurig bijhield. Banneker werd in de studie van astronomie aangemoedigd door George Ellicott, een quaker en amateurastronoom wiens familie nabijgelegen molens bezat. Al in 1788 begon Banneker astronomische berekeningen te maken, en hij voorspelde nauwkeurig een zonsverduistering die plaatsvond in 1789. In 1791, terwijl hij samenwerkte met Andrew Ellicott en anderen bij het onderzoeken van het land dat Washington, DC zou worden, deed Banneker andere astronomische waarnemingen .
Als essayist en pamfletschrijver verzette Banneker zich tegen slavernij en pleitte hij voor burgerrechten. In 1791 stuurde hij Thomas Jefferson, de toenmalige Amerikaanse minister van Buitenlandse Zaken, een brief waarin hij Jefferson vroeg om hulp bij het scheppen van betere omstandigheden voor Afro-Amerikanen. Met de brief stuurde Banneker ook een handgeschreven kopie van het manuscript voor zijn Pennsylvania, Delaware, Maryland en Virginia Almanack en Ephemeris uit 1792, die hij tot 1797 jaarlijks bleef publiceren.