Pada mulanya, pasukan negara ini bertanding sebagai Persekutuan Tanah Melayu atau Malaya (MAL) pada 1956 dan 1960, Borneo Utara menghantar pasukan sendiri pada 1956, sementara Singapura turut bertanding di Olimpik dari tahun 1948 hingga 1960. Setelah ketiga-tiga jajahan British ini membentuk gagasan Malaysia yang merdeka pada tahun 1963, pasukan negara bertanding dengan nama itu buat julung kalinya di Sukan Olimpik Musim Panas 1964. Kemudian, Singapura merdeka dari Malaysia pada 1965 lantas terus bertanding sebagai Singapura bermula dari tahun 1968 dan seterusnya.
Semenjak memenangi pingat pertama di temasya Barcelona 1992, Malaysia hanya meraih pingat dari acara badminton, sehinggalah Pandelela Rinong meraih pingat gangsa dari acara terjun pada temasya London 2012. Malaysia juga mula meraih pingat dalam acara lumba basikal pada tahun 2016 menerusi Azizulhasni Awang.