Po niecałych dwóch miesiącach Sai Baba opuścił Shirdi na czwórka lata. Nie ma żadnych dowodów historycznych, mówiących co się z zanim w takim razie działo. Istnieją domysły oparte na tym co mówił różnym osobom, które do niego przyjeżdżały, że podróżował wtedy po Indiach, podjął pracę jak hafciarz, walczył wewnątrz powstaniu Sipajów, tudzież też spotykał się z wieloma świętymi plus fakirami.