Sekolah ini pada awal penubuhannya dinamakan Sekolah Melayu Batu Gajah pada tahun 1883.Guru Besar yang pertama ialah En. Abdur Rahman b. Fakir Mohamad.Pada tahun 1931 sekolah ini berpindah ke bangunan baru di Jalan Ilmu. Sekolah ini dinamakan Sekolah Melayu Lelaki, Batu Gajah. Pada 5 Januari 1970 Sekolah Perempuan Batu Gajah telah di cantumkan kepada Sekolah Kebangsaan Batu Gajah di bawah pentadbiran seorang Guru Besar.
Atas kepentingan pada masa itu, sebuah blok bangunan baru 3 tingkat telah dibina dan siap pada 21hb April 1978 ( sekarang ini dinamakan Blok ‘C’ ) Beberapa buah bangunan lama masih kekal . Pada 2hb. June 1988 Duli Yang Teramat Mulia, Paduka Seri Sultan Perak telah merasmikan bangunan tersebut dan dinamakan SK. Toh Indera Wangsa Ahmad, Batu Gajah.
Keluasan kawasan ini ialah 7 ekar. Pada bulan Mei, 2001 dua blok bangunan baru 3 tingkat mula di bina di atas tapak bangunan lama yang dirobohkan. Bangunan ini siap dibina dan mula di gunakan pada awal bulan Mei, 2002. Ia menyediakan 12 buah bilik darjah dan bilik-bilik khas disamping kemudahan-kemudahan lain untuk keperluan dan kemudahan pengajaran dan pembelajaran.
Untuk sessi akademik 2009 sekolah ini masih mengekalkan persekolahan 2 sessi iaitu Tahun 3, 4, 5 dan 6 disebelah pagi manakala Tahun 1 dan 2 di sebelah petang.