Sewaktu di Padang, dirinya sudah mendengar banyak stigma tentang Islam dan para pemeluknya. Umat Islam disebut-sebut sebagai orang-orang yang terbelakang dan pemalas.
Akan tetapi, adanya stereotip demikian malah membangkitkan rasa ingin tahunya untuk benar-benar mengenal agama ini. Pada 1926 atau ketika usianya 20 tahun, Oei memutuskan untuk menjadi Muslim. Kala itu, amat jarang terjadi seorang Tionghoa memeluk Islam.
Pada mulanya, ia sempat cemas kalau sampai ayah dan saudara-saudaranya mengeta hui kabar keislamannya. Namun, pikirannya mulai tenang ketika seorang ustaz bernama Abdul Kadir mengajarkan kepadanya hakikat keberagaman, seperti termaktub dalam Alquran surah al-Hujurat ayat 13.