Geneza tej położonej w państwie żywieckim-własności rodziny Komorowskich miejscowości nie jest jasna. Według S. Szczotki (1999, 89) istniała już w połowie XV w. Obecnie przyjmuje się, że początek osady bliski jest dacie 1537, kiedy w Milówce wzmiankowane jest sołectwo (Dusik 2003, 56). Jako odrębna osada nie wystąpiła jeszcze w spisach podatkowych z 1581 r. Jako odrębna wieś została po raz pierwszy odnotowana w 1595 i ponownie w wizytacji z 1598 r.(AHPWK II, 45, 110. Poniedziałek datuje ją na 1608 r. -1985, 33). Liczba ludności w następnych latach musiała ulec szybkiemu powiększeniu, skoro w 1626 r. powstała tutaj samodzielna parafia katolicka. Sprzyjało temu zjawisku rugowanie chłopów z niżej położonych wsi rolniczych (na terenie ich pól powstawały folwarki) ale także napływ pasterzy wołoskich, ubogich chłopów śląskich, słowackich i węgierskich (Poniedziałek 1980, 48). Lokalizacja przestrzenna Milówki powodowała, że na jej terenie możliwe było łączenie zajęć rolniczych z pasterskimi. Bezpośrednie informacje dotyczące prowadzenia na terenie osady intensywnej hodowli owiec pochodzą z 1618 r., kiedy to Mikołaj Komorowski oskarżał Emeryka Thurzona, że jego poddani-Orawianie napadli na Milówkę oraz pobliską Jeleśnię i Przyborów, skąd uprowadzili ludzi oraz setki owiec i bydło (Semkowicz 1939, 37-38). W 1675 r. w tej wsi znajdowało się 991 owiec wałaskich (Szczotka 1949, 378).