生集·自序》中說：

有田幾稜，屋數區，在錢塘江上。中為書堂，面江背山，江之外，又山無窮，若沃洲、天姥、雲門、洛思諸峰嶺，群欲褰裳涉波暱就予者。

這樣的居住環境，這樣的生活情趣，不是貧困之家所能享用的了。

金農只在兩處地方提到過他的父親，一是在《畫佛題記》中，談起13、14歲的時候，曾經跟隨他的父親在長明寺見過五代畫家僧人貫休畫的十八羅漢圖軸。一是在《冬心先生集》卷一、30歲時作的一組（六首）詩的詩題中，有“曲江之上，先人敝廬在焉”的話，說明在金農30歲以前，父親就去世了。“廬”而曰“敝”，家道中落了。金農有個哥哥，出家做了和尚（聿禪師），約死於雍正十二年（1734年）左右。

有個妹妹，後嫁給杭州何氏。

金農少年時代是在閒適的讀書生活中度過的。他在上引《自序》中繼續寫道：“於是目厭煙霏，耳飽瀾浪，意若有得，時取古人經籍文辭，研披不閒昕夕，會心而吟，紙墨遂多。”眼前是空濛山色，耳畔是錢江濤聲，在與大自然的默契中，讀經史，吟詩詞，揮筆為文無虛日。聰明早慧加上刻苦勤奮，金農的學業大進。

金農英才早發，年少即負詩名，深為浙中諸前輩欣賞。據他自己說，同裡項霜田曾稱讚他的詩：“子詩度超時彥，舉體便佳。”吳慶伯在詩僧亦諳處見到他的《林逋墓上作》，對亦諳說：“吾新營生壙，宜乞此子寒瘦詩”。此時金農17歲。康熙四十五年（1706年）四月，20歲的金農渡羅剎江到蕭山拜訪91歲的毛西河，呈