İlçemiz daha önceleri Palu İlçesine bağlı ve 8 km. kuzeyindeki Kapıaçmaz Mevkiinde küçük bir köydü. Yörenin tarihi çok eski olup, Milattan önceki yıllara dayanır. 1934 yılında Romanya ile Türkiye arasında yapılan mübadele anlaşması çerçevesinde Romanya’nın Silistre Vilayetinin Tutrakan İlçesi Kovancılar köyünde bulunan Türk ahaliden 300 hanelik bir kafile yerleştirilmek üzere Elazığ İli’ne nakledilmiştir. Mevsimin kış olması nedeniyle önce Palu İlçesinin civar köylerine geçici iskana tabi tutulan göçmenler daha sonra şimdiki İlçe Merkezine yerleştirilmiştir. 1935 yılının İlkbahar ayında 300 hanelik köyün temeli atılmıştır. O zamanın şartlarına göre duvarları kerpiçten ve çatıları kargirden yapılan evlerin inşaatları kısa zamanda tamamlanarak hak sahiplerine teslim edilmiştir. Söz konusu bu yeni yerleşim yerine göçmenlerin Romanya’da ikamet ettikleri Kovancılar’ın adı verilmiştir.
1935 yılında tamamen boş bir arazi üzerine kurulmuş bulunan Kovancılar’ın imar planı o zamanın imkanları ile en iyi şekilde hazırlanmış olup, Elazığ İli’nin örnek bir yerleşim alanı olmuştur. 1967 yılında Belediye Teşkilatı kurulmuştur. Daha sonra 19.06.1987 tarih ve 3392 Sayılı Kanun ile yerleşim yerimiz İlçe Statüsüne kavuşmuş, 05.05.1988 tarihinde ilk Kaymakamın fiilen göreve başlamasıyla yürürlüğe girmiştir.