Miejscowość po raz pierwszy wzmiankowana została w 1329 roku i występuje pod nazwą Ewer (Fekete Nagy, 1934: 249). Nazwa osady utworzona jest od wyrazu őr (po węgiersku ‘stróż’, ‘strażnik’). W dalszych przekazach pisemnych nazwa miejscowości występuje w postaci Yerubina (1343), Gyrem alio nomine Sombach (1408), Wieś Jarzembina (1553), Villa Jarzembina (1564), Wieś Jarzębina (1627), Villa Iarzębina (1664), Wieś Jastrzębina, Villa Jerubina (1764) (Fekete Nagy, 1934: 249; Małecki, 1962: 185; Falniowska-Gradowska – Leśniak, 2005: 719; Wierzbicki, 2011: 257-264; Števík, 2011: 117; Števík, 2012: 50). Na mapach pierwszego mapowania wojskowego z lat 1763-1787 osada wymieniona została jako Jerzebina (http://mapire.eu/en/). W rejestrze Jana Lipszky´ego z roku 1808 występuje po polsku w postaci Jarembina, po słowacku Jarabina (Lipszky, 1808: 272). W słowniku geograficznym Węgier z 1851 roku miejscowość zapisana jest jako Jarembina (Fényes, 1851: 151; tak samo SGKP, t. 3, 1882: 448). W ostatnich latach istnienia Austro-Węgier występuje pod nazwą Berkenyéd (1907-1913, berkenye – po węgiersku ‘jarzębina’). Po powstaniu Czechosłowacji oficjalnie nazywała się Jarembina (1920), w latach 1927-1948 Jarabina, Orjabina, od 1948 roku Jarabina (Majtán, 1998: 119).

Pierwotne osadnictwo wsi nosiło charakter słowacki lub niemiecki. Osada była zasiedlona przez Rusinów w XV w. W księdze miejskiej Starej Lubowli na początku XVI w. wspomina się ruskie imiona mieszkańców: Timko Rutko (Števík, 2012: 96). W słowniku geograficznym Węgier z 1851 roku miejscowość zapisana jest jako rusińska (orosz falu) (Fényes, 1851: 134). Według pierwszego spisu powszechnego Czechosłowacji z 1919 r. we wsi mieszkało 12 Słowaków, 1166 Rusinów i 4 Niemców (SMS, 1920: 84). Ostatni spis powszechny Słowacji z 2011 r. podaje w Jarabinie 42% Rusinów (369), 38% Słowaków (336), 8% Ukrainców (73) i 7% Romów (65) (http://census2011.statistics.sk/tabulky.html).

Pierwsi mieszkańcy wsi używali prawdopodobnie języka słowackiego lub niemieckiego. Od XV w. w miejscowości rozmawiało się po rusińsku. Według spisu powszechnego Węgier z 1880 r. dla 1041 mieszkańców ojczystym językiem był język rusiński, 54 słowacki i 17 niemiecki (Majo, 2012: 64). Ostatni spis powszechny Słowacji z 2011 r. odnotowuje we wsi 54% mieszkańców, dla których język rusiński jest językiem ojczystym, 22%, którzy podają język słowacki i 19%, którzy podają język romski jako język ojczysty (http://census2011.statistics.sk/tabulky.html).

Wieś była założona na prawie niemieckim w 1329 r. Wówczas żupan Wilhelm Drugeth wydał przywilej lokacyjny dla Jarzembiny (Kurtyka, 2003: 501). Wieś przeszła w XV w. z prawa niemieckiego na wołoskie. O prawie wołoskim, którym rządziła się Jarzembina, świadczą następujące powinności, odnotowane w lustracji z 1564 r.: Dań barania, syrowa, bryndze i obiednego. Obiednego albo kuchennego dają per fl. 1 na strądze baraniej. Item każda wieś daje tymel bryndze. Item każdy siodłak, który ma owce, dawa baranów 5 od sta ... każdy, który ma owce, daje per caseos (ser) 2... Każda wieś dawa po jednemu koczowi, które obracają głosznym albo kuchennym zamkowem. Item ci, co owiec nie mają, dawają po popręgu. Item powinni posługę konną, gdzie je zamek obróci: do Węgier i do Polski (Małecki, 1962: 186). 

Osada rozwinęła się na Spiszu, w Górach Lubowelskich, 5 km na północny zachód od Starej Lubowli. Położona jest na wysokości 587 m n.p.m. (VSOS 1, 1977: 511). Jej początki sięgają XIV w. Powstała na terenach, które należały do majątku zamkowego w Lubowli (SPS I, 1967: 510). Wołosi osiedli w niej w XV w. Pierwsza (pośrednia) wzmianka o obecności Wołochów (Rusinów) zachowała się z roku 1497. Od 1412 r. do 1770 r. osada leżała na terenie starostwa spiskiego (lubowelski majątek zamkowy) (Števík, 2012a: 50). W 1564 r. było we wsi 13 kmieci na dworzyskach i 5 zagrodników, w 1758 r. 131 gospodarzy i 16 zagrodników (Małecki, 1962: 185; Chalupecký, 1998: 81). W XVIII w. Jarzembina była dużą wsią na Spiszu. W 1828 r. wieś liczyła 224 domy i 1645 mieszkańców. Na przełomie XVIII i XIX w. należała do dominium Lubowla & Podoliniec komitatu spiskiego – Dominium Lublo & Podolin (ŠA-L, SŽ, i. č. 3856). W ostatnich dziesięcioleciach XIX w. i na początku XX w. wielu mieszkańców wyemigrowało za granicę. Mieszkańcy przez stulecia zajmowali się pasterstwem, rolnictwem i druciarstwem (VSOS 1, 1977: 511).

Drewniana cerkiew była wybudowana prawdopodobnie w XV w., murowana cerkiew Narodzenia Najświętszej Maryi Panny w 1803 r.

Schematismus z 1898 r.: Eccl. Mur. ad Nat. B. M. Virg. Anno 1803 erecta, 1863 totaliter renovata (Schematismus, 1898: 173).