De IJslandse Hond is een typische Scandinavische hond. Uit graven in Denemarken en Zweden van 8000 voor Christus, zijn al honden gevonden die lijken op de IJslandse Hond.
In 874 koloniseerden Noorse Vikingen het nog lege IJsland en namen hun eigen vee en honden mee. Ze gebruikten deze voor het bewaken en drijven van het vee in het uitgestrekte land. Uit verhalen uit het jaar 880 is er al sprake van een kleine keeshond. In de eeuwen daarna zijn er nauwelijks andere soorten honden op het eiland terecht gekomen. Dit komt door de geïsoleerde ligging en de strenge importbepalingen. Wel zijn er door de Vikingen ook wat honden gehaald bij de Eskimo’s uit Groenland.
In de middeleeuwen is de IJslandse Hond erg in trek bij de Engelse adel. Zelfs Shakespeare noemt de hond rond 1600 in het toneelstuk over Henry 5th. Op IJsland zelf was de situatie minder rooskleurig. Er heersten veel hongersnoden waarbij de honden werden gedood om voedsel uit te sparen. Toch waren er rond 1870 zo veel honden dat men dacht dat het voor de mensen een gezondheidsrisico werd. Toen werd er hoge belasting geheven op het hebben van honden. En bleef er maar een kwart van het aantal honden over. Vooral in de afgelegen gebieden was de IJslandse Hond nog onveranderd. De IJslandse Hond werkte eeuwenlang op de boerderijen als herdershond van schapen en paarden en bewaker van het terrein. Hiervoor had je intelligente honden nodig. Ze waren voor de boeren dan ook erg veel waard. Ze werden door de boeren geselecteerd op karakter en werklust. Agressieve honden kon men niet gebruiken en die werden afgemaakt. Hierdoor is de huidige IJslandse Hond een goedmoedige en werklustige hond.
Toch was het door toedoen van de Engelsman Mark Watson dat de IJslandse Hond weer aandacht kreeg. Tussen 1930 en 1970 bezocht Watson vele malen IJsland. En op afgelegen boerderijen vond hij nog raszuivere IJslandse Honden. Rond 1950 nam hij er een aantal mee naar Californie om mee te gaan fokken.
Langzaam aan kwam op IJsland het besef dat deze honden wel heel bijzonder en typerend waren voor IJsland. Er waren nog maar 17 echte zuivere IJslandse Honden bekend. Pall A. Palsson en Sigridur Petursdottir begonnen een samenwerking en starten een fokprogramma met de raszuivere IJslandse Hond. Zo hebben ze het ras weten te behouden. Inmiddels wordt de IJslandse Hond gezien als een deel van het IJslandse cultuurgoed. Ook nu nog wordt er veel moeite gedaan om de kleine populatie van rond de 5000 honden wereldwijd te behouden en zo mogelijk uit te breiden met met honden die nog in afgelegen gebieden op IJsland worden gevonden om de fokbasis te verbreden.
Rond 1975 kwamen de eerste IJslandse Honden in Nederland met de import van de IJslandse paarden mee. In 1985 waren er voor het eerst IJslandse Honden te zien in Amsterdam op de wereldtentoonstelling. Dit leverde veel belangstelling op en in 1986 werd het ras erkend door de Raad van Beheer op Kynologisch Gebied in Nederland.