Eskola publikoan irakaskuntza ertainetan ikasketak euskaraz burutu ahal izateko hainbat euskaltzalek egin zuten aldarrikapenaren ondorioz, 1.988/89 ikasturtean Arabako D eredu hutsezko lehenengo institutu publikoa jarri zen abian.

Hasiera batean Zaramaga auzoan ikaslerik gabe gelditzen ari zen ikastetxe batean ezarri zen eta izen berria eman zitzaion. Aurreko urtean Txillardegirekin batera euskara batuaren sorkuntzan giltzarri izan zen Koldo Mitxelena filologoa hil zen eta horren omenez ikastetxeak bere izena hartu zuen.

Lehenengo ikasturte hartan 69 ikasle eta 7 irakasle besterik ez zegoen, baina geroztik ikastetxeak etengabe hazten jarraitu du. Gaur egun bi eraikuntzatan banatuta daude Koldo Mitxelenako ikasleak, 700 inguru.