ਮੁਹੰਮਦ ਰਫ਼ੀ 1924 ਵਿੱਚ ਅੰਮ੍ਰਿਤਸਰ ਨੇੜੇ ਕੋਟਲਾ ਸੁਲਤਾਨ ਸਿੰਘ ਵਿੱਚ ਜੰਮੇ, ਅਤੇ ਲਾਹੌਰ ਵਿੱਚ ਵੱਡੇ ਹੋਏ, ਜਿੱਥੇ ਉਹਨਾਂ ਦੇ ਵੱਡੇ ਭਰਾ ਦੀ ਨਾਈ ਦੀ ਦੁਕਾਨ ਸੀ। ਉਹਨਾਂ ਨੇ ਆਪਣਾ ਪਹਿਲਾ ਫ਼ਿਲਮੀ ਗੀਤ ਲਾਹੌਰ ਵਿੱਚ ਬਣੀ ਇੱਕ ਪੰਜਾਬੀ ਫ਼ਿਲਮ ਵਿੱਚ ਗਾਇਆ, ਅਤੇ 1944 ਵਿੱਚ ਬੰਬਈ ਚਲੇ ਗਏ।
ਅਗਲੇ ਪੈਂਤੀ ਸਾਲਾਂ ਵਿੱਚ ਉਹਨਾਂ ਨੇ ਹਿੰਦੀ ਅਤੇ ਹੋਰ ਕਈ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਹਜ਼ਾਰਾਂ ਗੀਤ ਗਾਏ, ਭਗਤੀ ਅਤੇ ਰੁਮਾਨੀ, ਹਾਸਰਸੀ ਅਤੇ ਦੁਖਾਂਤਕ, ਅਤੇ ਭਾਰਤੀ ਸਿਨੇਮਾ ਦੀਆਂ ਸਭ ਤੋਂ ਪਿਆਰੀਆਂ ਆਵਾਜ਼ਾਂ ਵਿੱਚੋਂ ਇੱਕ ਬਣੇ। ਵੰਡ ਵੇਲੇ ਉਹਨਾਂ ਨੇ ਭਾਰਤ ਵਿੱਚ ਰਹਿਣਾ ਚੁਣਿਆ।
ਉਹ 1980 ਵਿੱਚ ਬੰਬਈ ਵਿੱਚ ਚਲਾਣਾ ਕਰ ਗਏ, ਅਤੇ ਉਹਨਾਂ ਦੇ ਜਨਾਜ਼ੇ ਪਿੱਛੇ ਵੱਡੀਆਂ ਭੀੜਾਂ ਤੁਰੀਆਂ।