Agama Islam di Jepang masuk sekitar tahun 1867 yaitu pada masa restorasi Meiji yang ditandai dengan masuknya literatur-literatur mengenai Islam. Pada masa itu kisah hidup Nabi Muhammad SAW diterjemahkan ke dalam bahasa Jepang. Hal ini menyebabkan Islam mampu hadir dan diterima di tengah kalangan intelektual Jepang, walaupun Islam pada saat itu hanya dipandang sebagai bentuk pengetahuan serta bagian dari sejarah budaya.
Kontak lain juga yang juga tidak kalah pentingnya adalah terjadinya peristiwa Kapal Ertogul yaitu sebuah kapal Turki yang karam di perairan Jepang pada tahun 1890. Dari 600 penumpang hanya 69 orang yang selamat. Pemerintah dan rakyat Jepang berusaha menolong para penumpang yang selamat. Peristiwa ini menjadi pencetus dikirimnya utusan pemerintah Turki ke Jepang pada tahun 1891.
Hubungan yang sangat baik dengan Turki ini juga membawa kemenangan bagi Jepang dalam peperangan dengan Rusia yang dimulai pada tahun 1904. Pada saat armada kekaisaran Rusia melintasi laut Baltik, Turki memberitahukan hal tersebut kepada Jepang dan karena itu Jepang meraih kemenangan.
Tahun 1923 pengungsi dari Asia Tengah seperti Tartar, Uzbekistan, Tajikistan, Kygistan, Kazakhstan mencari perlindungan ke Jepang karena desakan Revolusi Bolshewyk di Rusia. Makin banyaknya orang-orang muslim di Jepang kala itu menyebabkan dibangunnya masjid-masjid kecil. Dua masjid didirikan yaitu masjid Kobe yang dibangun pada tahun 1935 serta masjid Tokyo yang dibangun tahun 1938. Kedua masjid tersebut merupakan masjid-masjid terpenting di Jepang.
Selain itu terdapat beberapa organisasi Islam di Jepang seperti Japan Muslim Association yang berdiri sejak 1953. Organisasi ini sangat giat melakukan penerjemahan dan penerbitan kitab suci Al-Quran, Hadits Nabi serta buku tentang cara sholat. Selain itu juga ada Hokkaido Islamic Society (HIS) yang didirikan tahun 1992 oleh orang-orang muslim asing yang tinggal di Hokkaido. Tujuan pendiriannya adalah untuk melayani kebutuhan orang-orang muslim terutama muslim asing yang tinggal di Hokkaido. Organisasi ini merupakan sebuah organisasi non-politis yang peduli terhadap penerapan ajaran-ajaran Islam dengan tetap menghormati hukum yang berlaku di Jepang.