フリーマンのバネカーは、ボルチモア近くの農場で育ち、最終的には父親から受け継ぐことになりました。彼は定期的に1部屋のクエーカー教徒の校舎に通っていましたが、バネカーは主に独学で、借りた本を貪欲に読んで多くのことを学びました。早い段階で、彼は数学のための特定の施設を示しました。まだ若い頃（おそらく20歳くらい）、彼は正確な時間を保つ木製の時計を作りました。バネカーは、クエーカー教徒でアマチュア天文学者であり、家族が近くの製粉所を所有していたジョージ・エリコットによって天文学の研究に励まされました。早くも1788年に、バネカーは天文計算を開始し、1789年に発生した日食を正確に予測しました。1791年、アンドリューエリコットなどと協力して、ワシントンDCになる土地の調査を行いながら、バネカーは他の天文観測を行いました。 。
エッセイスト兼パンフレットとして、バネカーは奴隷制に反対し、市民権を擁護しました。 1791年、彼は当時米国国務長官だったトーマスジェファーソンに、アフリカ系アメリカ人により良い条件をもたらすためのジェファーソンの援助を求める手紙を送りました。手紙とともに、バネカーは1792年のペンシルベニア、デラウェア、メリーランド、バージニアの年鑑と天体暦の原稿の手書きのコピーも送り、1797年まで毎年出版し続けました。