Mereka pulalah yang menjadi perantara bagi tersebarnya agama Islam keluar dari daerah Timur Tengah, terutama ke Asia Tenggara, termasuk Indonesia dan pedalaman Afrika. Para pedagang, pengembara, dan pengamal tasawuf merupakan juru tabligh utama penyebaran agama Islam ke daerah-daerah tersebut, baru kemudian tugas itu diteruskan dan diselesaikan oleh ulama-ulama ahli fiqh dan ahli kalam.
Bahkan, di beberapa tempat, seperti di India, struktur organisasi gerakan tasawuf telah membentuk masyarakat setempat begitu rupa sehingga mendekati pola-pola yang ada di dunia Islam (Timur Tengah), dan ini sangat mendukung bagi penyebaran Islam selanjutnya. Di tempat-tempat yang terdapat pengikut tarekat hampir selalu bisa ditemukan suatu pondokan atau zâwiyah guna menampung para fakir yang hendak melakukan wirid atau suluk. Zâwiyah itu dalam perkembangannya berubah menjadi gilda-gilda dan pusat-pusat kegiatan ekonomi, pusat pendidikan, bahkan tidak jarang menjadi cikal bakal kekuatan politik yang besar pengaruhnya di kemudian hari.
Keadaan serupa juga berlaku di Indonesia. Pusat-pusat penyebaran Islam yang mula-mula, khususnya di Jawa seperti di daerah Ampel dan Giri, agaknya merupakan sambungan sistem zâwiyah di India dan Timur Tengah, yang kemudian berkembang menjadi pondok atau pesantren seperti yang kita kenal sekarang. Dianggapnya para tokoh penyebar ajaran Islam itu sebagai wali yang keramat menunjukkan kuatnya pengaruh segi tasawuf dalam ajaran-ajarannya. Sebab, kepercayaan kepada wali merupakan bagian penting dalam rangkaian faham sufi.
Tentang bagaimana bentuk hubungan yang sebenarnya antara sufisme dengan mistik Jawa yang kemudian dikenal dengan kebatinan pernah menjadi bahan diskusi yang hangat di Indonesia. Satu hal yang barangkali mendekati kepastian adalah bahwa pembawaan-pembawaan mistis pada orang Jawa khususnya dan orang Indonesia umumnya – yang merupakan warisan ajaran-ajaran agama Hindu-Buddha – telah membantu mematangkan kesiapan bangsa kita menerima kedatangan agama Islam melalui tasawufnya itu.
Sebaliknya dalam perkembangannya, sufisme telah ikut mempengaruhi ajaran-ajaran mistik setempat, sehingga terdapat perbendaharaan keislaman padanya. Memang dalam kenyataannya, ajaran-ajaran tasawuf merupakan bagian dari ajaran-ajaran Islam yang paling mudah dan cepat menyesuaikan diri dengan unsur-unsur mistik setempat.
Tetapi, kalau kita lihat para pengikut tasawuf di pesantren-pesantren di Jawa, ternyata mereka tidak begitu paham dengan sastra mistik Jawa sendiri. Umumnya mereka tidak mengenal bacaan-bacaan mistik seperti yang dikenal dalam dunia kebatinan atau kejawen. Bahkan mereka memandang bacaan-bacaan itu dengan curiga. Dalam mengamalkan tasawuf ini mereka hanya bersandar pada sumber-sumber berbahasa Arab seperti yang diajarkan oleh kiai atau guru mereka.
Meskipun pesantren atau pondok merupakan perkembangan dari sistem zâwiyah yang dikembangkan kaum sufi, tetapi bukan berarti setiap pesantren merupakan pusat gerakan tasawuf. Pada saat ini pesantren lebih dikenal sebagai lembaga pendidikan dan pengajaran. Sedangkan yang melakukan peranan sebagai pusat gerakan tarekat (tasawuf) hanya sedikit. Lebih sedikit lagi adalah pesantren yang mengkhususkan diri dalam bidang tasawuf sebagai objek pengajarannya.
Sufisme di Indonesia agaknya terbatas pada segi-segi yang praktis, sedangkan segi pemikiran kontemplatifnya sangat kurang. Karena itu perkataan “tarekat” (yaitu jalan atau ajaran bertasawuf yang bersifat praktis) adalah lebih dikenal daripada perkataan tasawuf, khususnya di kalangan para pengikut awam yang justru menjadi bagian terbesar dari pengikut tasawuf ini.