王楊諒在幷州謀反，鐵杖又跟隨楊素征討漢王楊諒，每次作戰總是身先士卒，後任柱國大將軍。不久調任萊州刺史，但無政績。轉任汝南太守，漸漸學習法令制度，群盜絕跡。

後來上朝，考功郎竇威嘲笑鐵杖說：“麥是什麼姓？”鐵杖應聲答道：“麥竇（豆）沒有差異，有什麼值得奇怪的？”竇威非常羞愧，無言以對，當時的人都認為麥鐵杖機敏聰慧。

不久麥鐵杖又調任右屯衛大將軍，隋煬帝對他更加親密。麥鐵杖認為隋煬帝對他恩重如山，常懷盡忠報國之志。

大業八年（612年），隋煬帝征討高句麗，麥鐵杖請求當前鋒。他回頭對隨從醫生吳景賢說：“大丈夫的性命自有所在，豈能去用艾炷燙鼻樑，用瓜蒂噴鼻孔，治黃不差，而死在婦人懷裡呢？”將要渡遼河，鐵杖對他的三個兒子說：“你們應該準備淺黃色的衣衫。我久蒙國恩，今天應是為國捐軀的時候。我如果戰死，你們將會富貴。在忠與孝上，希望你們多努力。”等到渡河時，橋未完工，離東岸還有幾丈，高句麗軍大批湧來。麥鐵杖跳上岸，與高句麗軍拼搏，戰死。同時戰死的還有武賁郎將錢士雄、孟金叉。