區域——幾乎是帝國大廈的兩倍大。但是它又只能有4層，太高的話會在周圍低矮的建築物中顯得不協調而且將耗費太多的鋼材，當時製造戰艦和武器急需鋼材。薩默維爾說：“我們希望半年後建好50萬平方英尺，一年內全部完工。”

這麼大的建築，華盛頓已經沒地方放了。軍方看中了阿靈頓紀念大橋腳下的一片地方。但負責監視首都規劃的美術委員會認為在那裡蓋樓會擋住華盛頓的中軸線。薩默維爾堅持他選定的地方，羅斯福則支援了美術委員會的意見，把五角大樓從原定地址向南移了公里。美術委員會還認為建成長方形比五角形更合適。羅斯福又被請出來定奪此事，這次他站在了軍方一邊，他對委員們說：“我喜歡它是因為這種外形是前所未有的。”美國的兩位國父華盛頓和傑斐遜都是業餘建築師，建造了自己和鄰居的住所。傑斐遜還設計了弗吉尼亞大學和議會。但後來的總統中只有羅斯福比較關心建築。“這也許是因為畫圖紙不像打高爾夫、橄欖球、開賽艇或騎山地車那樣顯得有男子氣概、有資格成為總統的嗜好；也許是因為總統不再像過去那樣擁有不太個人、更加熱心公益的嗜好。”

對五角大樓的方案討論的比較多的是，戰爭結束後，當軍方不再需要這麼大的辦公區域時該如何處理這幢大樓。有人提議說可以把它改建成醫院，羅斯福的意見是把它用作軍事檔案館，因而他要求五角大樓的