Wilayah Prabumulih menjadi bagian dari Kawedanan Lematang Ogan Tengah, yang meliputi Kecamatan Prabumulih, Kecamatan Tanah Abang, dan Kecamatan Gelumbang.
Penghapusan sistem pemerintahan marga berlangsung seiring dengan diundangkannya Undang-Undang Nomor 5 Tahun 1974, yang menyatakan bahwa pemerintahan desa akan diatur dengan undang-undang.
Dengan berlakunya undang-undang ini, sistem pemerintahan marga dihapus, dan desa serta kelurahan menjadi unit pemerintahan yang paling rendah.
Perubahan besar terjadi pada tahun 1982, ketika Kecamatan Prabumulih ditingkatkan statusnya menjadi Kota Administratif Prabumulih berdasarkan Peraturan Pemerintah Republik Indonesia Nomor 18 Tahun 1982.
Status baru ini memberikan otonomi lebih besar kepada Prabumulih dalam hal pemerintahan lokal, dan peresmian kota administratif dilakukan oleh Menteri Dalam Negeri, Soedarmono, SH, pada tanggal 10 Februari 1983.
Luas wilayah Kota Prabumulih pada saat itu mencapai 21.953 hektar, yang terdiri dari dua kecamatan, yakni Kecamatan Prabumulih Barat dan Kecamatan Prabumulih Timur.
Beberapa desa penting yang menjadi bagian dari wilayah ini meliputi Desa Gunung Kemala, Desa Karang Raja, Desa Muara Dua, dan Desa Sukaraja.
Perluasan wilayah terus terjadi, di mana beberapa desa di Kecamatan Prabumulih dimekarkan menjadi kelurahan, seperti Kelurahan Pasar Prabumulih, Kelurahan Prabumulih, dan Kelurahan Persiapan Prabumulih Utara serta Selatan.
Perubahan terbesar dalam sejarah pemerintahan Prabumulih terjadi pada tahun 2001, ketika status Kota Administratif Prabumulih ditingkatkan menjadi Pemerintah Kota Prabumulih.
Hal ini berdasarkan Undang-Undang Nomor 6 Tahun 2001 yang mengesahkan pembentukan Kota Prabumulih secara resmi pada tanggal 21 Juni 2001.
Peresmian ini dilaksanakan di Jakarta oleh Menteri Dalam Negeri Republik Indonesia, dan pada tanggal 12 November 2001,
Gubernur Sumatra Selatan melantik Drs. Sudjiadi, MM sebagai Pejabat Walikota Prabumulih yang pertama.
Dengan status baru ini, Pemerintah Kota Prabumulih diberikan wewenang penuh untuk membentuk perangkat pemerintahannya sendiri.
Serta membentuk Dewan Perwakilan Rakyat Daerah (DPRD) Kota Prabumulih sebagai badan legislatif lokal.
Selain itu, pemekaran wilayah terus berlanjut, di mana beberapa desa baru dibentuk di Kecamatan Rambang Kapak Tengah, sehingga pada tahun 2002, Kota Prabumulih terdiri dari 12 kelurahan dan 19 desa.
Pada tahun 2003, dalam pemilihan kepala daerah pertama di Prabumulih, Drs. H. Rachman Djalili, MM, terpilih sebagai Walikota Prabumulih yang definitif, bersama dengan Yuri Gagarin, SH, MM, sebagai Wakil Walikota.