Jeho předci jsou keltští poníci přivezení na Island Vikingy v 9. století. Díky izolaci Islandu nebyl islandský pony po staletí ovlivněn žádným jiným plemenem a to z něj dělá jednoho z nejčistších plemen světa. Přesto v 11. století byly pokusy zkřížit islandské koně s arabskými plnokrevníky. Výsledky byly však fatální a proto se od té dob islandští poníci nesmí křížit s jinými plemeny.