1930’da Gönende doğan Yılmaz, 1953’te Gazi Eğitim Enstitüsü’nü bitirdi. Işıklar Askeri Lisesi ve Manisa Ortlu Spor Okulu’nda spor öğretmenliği yaptı. 1984 yılında Kıd. Albay olarak ordudan emekli oldu. Ankara Beden Terbiyesi Bölge Müdürlüğü yaptı. 1968’den itibaren TMOK üyeliği görevini üstlendi.