島上的基岩主要由片岩構成,其紋理呈南北走向。該島形成於加里東造山期(Caledonian mountain building period)。深達1.5米(5英尺)的泥煤覆蓋了全島面積的2/3。
自新時期時代開始,耶爾島便有人定居,而島上發現的圓形石塔的歷史早於挪威人到臨之前。挪威人的統治從公元9世紀持續至14世紀,之後蘇格蘭人控制了該島。今日,島上的經濟主要依靠小農場租賃(crofting)、捕魚業、運輸業和旅遊業支撐。島上著名的建築有建於17世紀的布拉夫舊宅(Old Haa of Brough)。記述島上生活的民間傳說和現代文學類目繁多。
耶爾島有“英國水獺之都”(Otter Capital of Britain)的別稱,島上亦居住有不同種類的鳥類。其中包括北極賊鷗和大賊鷗。
耶爾島擁有相當數量的小海灣,水獺和大量的海鳥在這些海灣隨處可見。耶爾島號稱“英國水獺之都”("Otter Capital of Britain"),因為環島的低洼泥煤海岸為水獺掘洞提供了理想的環境。夏季,漫長的白晝使得這些夜行動物更易暴露在陽光底下,因此在耶爾島發現水獺的幾率要比在英國本島大很多。休·邁爾斯(Hugh Miles)的紀錄片《野生水獺之蹤》(The Track of the Wild Otter)就在布斯塔灣(Busta Voe)的布拉角(Burra Ness)取景,這部BBC出品的紀錄片曾斬獲多個獎項。
耶爾島上的一些地名揭示了一些凱爾特教堂的存在,而居住在這些教堂里的修士被北歐人稱作“帕帕爾人”(Papar,意為‘神父’或‘教皇’)。島上一些地方因此而得名,例如帕皮爾海角(Papil Ness)、帕皮爾湖(Loch of Papil)和帕皮爾灣(Papil Bay)。然而,這些地名是否為挪威人到來前還是在挪威殖民時期(當時島上仍居住有基督教徒)命名的尚不可知。在耶爾島西部鄰近西桑德威克的比利爾(Birrier),一處早期由庫爾迪人修築的修道院的遺址清晰可辨。幾乎可以確定的是,比利爾與耶爾海峽隔岸的一處修道院具有聯繫。該處修道院的院址今在設得蘭主島的北馬文半島(Northmarvine Peninsula)上的伊斯比斯特冰礫阜(Kame of Isbister)上。2000年,在比利爾進行了一次禮拜活動,用以紀念基督誕生的第二個千年
1469年,挪威國王克里斯蒂安一世為籌措其女瑪格麗特公主(Margaret of Denmark,1456-1486)的嫁妝,將設得蘭群島抵押給蘇格蘭國王詹姆斯三世。由於挪威始終沒有清償債務,蘇格蘭王室便將設得蘭視為永久領土。1470年,耶爾島隨同其他的設得蘭島嶼一同被劃入蘇格蘭版圖。1472年該項合併案由蘇格蘭國會確認生效。至此,挪威在耶爾島的殖民統治宣告結束。
17世紀,荷蘭東印度公司商船拉斯特德里克號(Lastdrager)在耶爾島附近失事。船難的倖存者讓·康比休斯(Jan Camphuis)在日誌中記述了自己在島上的經歷。他注意到島上的居民雖然貧窮,但卻異常友好且慷慨大方。這段經歷讓康比休斯對耶爾島大加讚賞。馬丁·馬丁(Martin Martin, ?-1718)1695年的著書《西蘇格蘭群島記述》(A Description of the Western Islands of Scotland)則這樣描述耶爾島:“島上有三座教堂和數座小禮拜堂。”18世紀,克魯特威爾牧師(The Rev. Crutwell)認為耶爾島的島民:“擁有大量的燃料、捕獲大量的魚,所以過著非常安適的生活。”
1841年,根據《蘇格蘭統計年鑑(再版)》(Statistical Accounts of Scotland, New)記錄,北耶爾和費特勒島教區中的走私行為徹底銷聲匿跡,但當地的居民染上了吸菸的惡習。同年,南耶爾和中耶爾教區注意到當地的黑牛價格暴漲50%,經查則是因為隔周從勒威克(Lerwick)發往利斯(Leith)的蒸汽快船使得島上的牲口被大量銷往蘇格蘭本土。
1960年代,耶爾島陷入了嚴重的衰退。1965年,祖籍奧克尼島的小說家埃里克·林克萊特(Eric Robert Russell Linklater,1899-1974)如是形容耶爾島:“它就像設得蘭群島里的問題兒童。” 原因則是耶爾島的經濟衰退、人口大量減少。有人指責島民實行所謂的“社會均等主義”,不允許島上出現領導人物和實業家。哈斯維爾-史密斯(Haswell-Smith)不同意該觀點,但他認為將問題曝光出來總是好的。很明顯,離大陸更遙遠的外斯凱里斯群島(Out Skerries)比耶爾島更富裕,而沃爾賽島(Whalsay)則更容易留住人口。相比之下,耶爾島既不像布雷賽島一樣離港口重鎮勒威克(Lerwick)那樣近,又不如通過橋樑與本島直接連線的巴拉島(Burra)和馬克爾島(Muckle Roe)。一些耶爾島居民在本島上的薩洛姆灣(Sullom Voe)工作,然而隨著通勤人數的下降,前景也不容樂觀。