27 Aralık 1865 tarihinde İstanbul’da doğdu. Ortaokulu Bursa’da, lise öğrenimini İstanbul’da gördü. Sonra Mekteb-i Mülkiye-i Şâhâne’yi bitirdi. Siyasî İlimler öğrenimi görmüştü. Mükemmel derecede Fransızca bilen Rahmi Bey, daha sonraları Arapça ve Farsça’yı da öğrendi. 1886′da Şûrây-ı Devlet Muhâkemât Dairesi’ne girdi. Devletin çeşitli kademelerinde memuriyet yaptı ve giderek yükseldi. III. Rütbe Mecidî, 4. ve 3. derece Osmani ile Ûlâ rütbesi aldı. Dar’ül-Elhân’da Müdürlük yaptı, bu müessesenin kapanmasıyla birlikte sıkıntıya düştü. Ancak dostlarının aracılığı ile Hıristiyan okullarında Türkçe dersleri vererek geçimini sağlamaya çalıştı. Yeniden açılan Dar’ül-Elhân Müdürlüğü’nün başkasına verilmesiyle büyük sıkıntılara uğradı ve geçim sıkıntısı çekerek 29.Nisan.1924 yılında hayata gözlerini yumdu. Eyüp Sultan’da Kırkmerdivenler’de babasının mezarının yanına gömüldü. Özel hayatında zarafeti, nezaketi, hassasiyeti ve beyefendiliğiyle tanınmış olan Rahmi Bey’in şarkılarında estetik fevkalâde, teknik sağlam prozodi son derece düzgündür. Rahmi Bey küçük yaşlarda mûsıkî öğrenmeye başladı. Medeni Aziz Efendi’nin öğrencisidir. Hafif, güzel ve tesirli bir sesi olan sanatkâr çok iyi bir neyzendi aynı zamanda edebiyata son derece meraklı idi. Mülkiye’de iken Recaizâde Ekrem Bey hocası idi. Şarkılarının çoğunun sözleri kendisine aittir. Mesud Cemil Bey’in anlatımıyla; son derece zarif bir İstanbul beyefendisi olan Rahmi Bey, ayrılmaz iki sevgili olan şiir ile mûsıkîyi o derece güzel bir sentezle ortaya koymuştur ki, Rahmi Bey için şarkı vadisinde olağanüstü bestekâr deyimini kullanmak hiç de abartılı olmaz. Şarkılarının güfteleri ile onların bestelendikleri makam ve usûller sonsuz bir uyum içinde olduklarından bütün şarkıları ifâde bakımından üstün bir düzeydedirler.

Rahmi Bey, bir tekbir ve 19 ayrı makamdan 37 şarkı bestelemiştir. Şarkılarından 3 tanesinin güftesi Nedim’e, 3 tanesi Recaizâde Ekrem Bey’e ve diğerleri çoğunlukla kendisine aittir.