W 1858 roku Sai Baba wrócił do Shirdi łącznie z procesją ślubną Amina Bhai Patila. Gdy wszedł do świątyni dewy Khandoby do wnętrza Shirdi, współczesny w tym miejscu kapłan Mlahaspathy powitał go słowami Ya Sai (witaj uświęcony człowieku). Imię Sai przyległo do niego plus niejaki godzina po pewnym czasie zaczął istnieć znany w charakterze Sai Baba.
Pozostał do wnętrza Shirdi aż do swej śmierci do wnętrza 1918 roku. Tam prowadził niezwyczajnie skromne plus surowe życie. Mieszkał w środku zniszczonym meczecie. Z początku spełniał funkcje hakima (muzułmańskiego lekarza) dodatkowo opiekował się chorymi. Jedzenie zdobywał żebrząc. W meczecie podtrzymywał uświęcony hinduski płomień – Dhuni. Miał zwyczaj rozdawania swym gościom Udhi (świętego popiołu hinduistycznego branego z Dhuni) tuż przedtem ich odjazdem z Shirdi. Wierzono, że ten popiół ma moce ochronne dodatkowo lecznicze. Sai Baba nauczał także (według tego co mówiły osoby przebywające z nim) dokonywał cudów. Brał wkład wewnątrz obrzędach religijnych. Miał podobnie zwyczaj przygotowywania swoim wyznawcom jedzenia, które rozdawał w charakterze prasadam. Jego rozrywką było tańczenie plus śpiewanie pieśni religijnych (najbardziej lubił pieśni Kabira).
W 1910 roku as Sai Baby rozpowszechniła się na całe Republika Indii także jego teizm zaczął się rozwijać. Wówczas wiele osób zaczęło do niego przyjeżdżać.