Dalam Catatan Zheng He, yang diterjemahkan W.P Groeneveldt dengan judul Nusantara dalam Catatan Tiongkok, Cheng Ho datang ke Palembang pada ekspedisi pertamanya.
Dia memburu Chen Zuyi, orang Guangdong, yang menguasai Palembang sebagai perompak.
Misi itu berhasil. Cheng Ho kembali ke Tiongkok untuk menyerahkan perompak itu kepada kaisar. Chen Zuyi kemudian dipenggal di pasar di ibukota.
Menurut arkeolog Uka Tjandrasasmita dalam Arkeologi Islam Nusantara, tindakan Cheng Ho menumpas bajak laut itu dengan sendirinya merupakan jasa pengamanan bagi kegiatan pelayaran dan perdagangan keluar-masuk kota pelabuhan dan kota Palembang.
“Karenanya pemimpin dan masyarakat daerah itu sangat berterimakasih dan menghargai jasa Cheng Ho,” kata Uka.
Kendati belum ada bukti kuat, banyak yang percaya bahwa Cheng Ho seorang muslim dan memiliki misi mengislamkan Nusantara, termasuk di Palembang.
Karena perilakunya yang baik dan membawa kedamaian, Cheng Ho mempunyai banyak pengikut.
Komunitas Tionghoa-Muslim juga sudah lama menetap dan berbaur dengan masyarakat setempat di Palembang.
Sebagai wujud penghormatan atas sosok Cheng Ho sekaligus mempererat persaudaraan di antara sesama muslim, dibangunlah Masjid Cheng Ho dengan arsitektur yang memadukan budaya Tiongkok, Islam, dan Palembang.
Masjid Cheng Ho Palembang dibangun Persatuan Islam Tionghoa Indonesia (PITI) yang kemudian ganti nama jadi Persatuan Iman Tauhid Indonesia. Dalam “Cosmopolitan Islam and inclusive Chineseness: Chinese-style mosques in Indonesia”, dimuat di buku Religious Pluralism, State and Society in Asia suntingan Chiara Formichi, Hew Wai-Weng menyebut masjid ini digagas oleh PITI Sumatra Selatan setelah para pemimpin cabangnya mengunjungi rekan-rekan mereka di Surabaya yang sudah mendirikan Masjid Cheng Ho.
“Masjid Al-Islam Muhammad Cheng Hoo di Palembang, diluncurkan tahun 2008, merupakan masjid kedua bergaya Tiongkok,” tulis Hew Wai-Weng.
Masjid Cheng Ho Palembang dibangun di atas tanah seluas 4.990 m2, hibah dari Syarial Oesman yang kala itu menjabat gubernur Sumatra Selatan.
Masjid dengan bangunan utama seluas 40m2 ini memiliki dua lantai.
Lantai pertama digunakan untuk jamaah laki laki, sedangkan lantai dua digunakan khusus untuk jamaah perempuan.
Secara keseluruhan bangunan masjid ini mampu menampung sekitar 500 jamaah.
Suasana di dalam masjid terasa sejuk dan nyaman kendati ruangan tak dilengkapi pendingin udara tapi hanya kipas angin.