1931 yılında Adana'nın Saimbeyli ilçesinde doğdu. Daha sonra tüm ailesiyle birlikte Kayseri'nin Sarız ilçesine yerleşti ve bir köy ağasının yanında maraba olarak çalışmaya başladı. Ağanın kızı Dilber'e aşık olunca, birlikte Kayseri'den kaçıp Elbistan'ın Sevdili Köyü'ne yerleştiler. Anadolu Aleviliği'nin yoğun yaşandığı bu bölgede uzun süre kaldıktan sonra İstanbul'a taşındı. İşçi olarak Almanya'ya gitmek için çabaladı, fakat nefes darlığı olduğu için başaramadı ve ailesiyle beraber Osmaniye'nin Kadirli ilçesine göç etti. Bu dönemde yazar Yaşar Kemal ile tanıştı ve onun da yardımıyla bir fabrikada işe başladı. Greve çıkan işçilerin başına geçince işten altıldı ve ailesinin geçimini sağlamak için ozanlığa başladı. 1967 yılında Tunceli'de sergilenen bir Pir Sultan Abdal oyununda oynayan ve deyişler söyleyen Nesimi, salonda olay çıkınca gözaltına alındı ve bıyığının yarısı tek tek yolunmuş bir vaziyette serbest bırakıldı. Ailesiyle birlikte Zeytinburnu'nda bir gecekonduya yerleşti. Evinde konaklayanlar arasında Yaşar Kemal, Atıf Yılmaz, İlhan Selçuk, Behice Boran, Mehmet Ali Aybar,Harun Karadeniz, Yılmaz Güney, Mahzuni Şerif, Aşık İhsani, Emekçi ve Ali Özgentürk gibi isimler vardı. İlk kez 1961 yılında sahnede türkü söyleyen Çimen, ilk plağını ise 1964 yılında doldurdu. Sonraki yıllarda birçok plak ve Almanya’da 2, Türkiye’de 3,İsveç’te 3 kaset ve Radio France’ın davetlisi olarak gittiği Paris’te bir uzunçalar doldurdu. 1968’e dek Pir Sultan, Hatayi deyişleri gibi geleneksel tarzda türkü söyledi. Sonraki yıllarda kendi şiirlerini de türküleştirdi. 2 Temmuz 1993 günü Sivas'ta, Madımak Oteli'nin yakıldığı ve 35 kişinin öldürüldüğü Sivas Katliamı'nda hayatını kaybetti. Cenazesi İstanbul Karacaahmet Mezarlığı'na defnedildi. Balet ve müzisyen Mazlum Çimen'in babasıdır.