其樓，就像曲徑通幽的迷宮，深藏其間，眉樓也漸漸成為“迷樓”。

更有甚者說，顧橫波風流迷人，訪者無不神魂顛倒。眉兄眉樓，深藏迷樓，引人遐思，不亦快哉？

其實，“迷樓”原本只是隋煬帝時為了自己出巡方便而興建於揚州的一處行宮別院，因該處“曲折幽深，閣樓錯落，軒簾掩映，互相連屬，如仙人遊”，才被後來無聊的江南文人騷客雅名為“迷樓”。

以“迷樓”戲稱代指為顧橫波賴以為生的“眉樓”，始作俑者也是江南的一個落魄士子，名為餘懷，當時也正好對顧橫波一往情深，竟一下子因愛而生出靈感，口中冒出這兩個字來，倒也一言中的，說出了眉樓在秦淮河畔無數的樓亭中巧奪天工，佈置匠心獨具，觀之恍若仙境的氣象來。

但文人就是文人，文人素來無行，即便有了顧橫波“南曲第一”、才貌俱佳的絕色尤物，龔鼎孳卻依然還是沉溺聲色，放蕩不羈，常常揹著顧橫波，照舊在十里秦淮尋花問柳，醉生夢死。

連顧橫波這樣的外室，都常常被他棄之一邊不顧，更別說被他早就被他遺忘在腦後面的真正家室了。

據傳，當時與他交好的文友孫昌齡，曾經當面斥責道：“已置其父母妻子於度外，及聞訃而歌飲留連，依然如故，虧行滅倫。”