Ylöstalo on ollut saman suvun hallussa vuodesta 1711. Sitä varhaisempia tietoja ei ole tutkittu, mutta 1500 -luvulta asti kylästä löytyy mainintoja. Asukkaita Suomessa oli 1700 -luvulla n. 400 000.
Norrbyssä vietti 1900 -luvun alussa kesiään kirjailija ja lehtimies Ernst Lampen (myöhemmin Iso-Keisari). Hän kirjoitti muistiin sukumme historiaa mm. kuunnellen lähes 90 -vuotiaan suvun Gammelfarin, Gustaf Wilhelm Bjurin, tarinoita. Lampen viihtyi Särkisalossa (tuolloin pitäjää kutsuttiin Finbyksi), osaltaan kiitos lupsakoitten merikapteenien, joita pitäjässä oli lukuisia. Merikapteenit olivat maailmaa nähneitä talonpoikia, jotka olivat aloittaneet aluksilla 14-vuotiaana meripoikana kylien ja talojen rakentamissa ja varustamissa laivoissa. Lahjakkaimmista tuli valtamerialusten merikapteeneja ja niitäkin oli Finbyssä useita.
1820 -luvulla syntynyt Gammelfar oli ahkera ja sanavalmis liikemies. Hän omisti osuuksia useissa laivoissa. Tuolloin talonpoikaispurjehdus eli vielä kukoistuskauttaan, ja hyvien naimakauppojen ja onnistuneiden talokauppojen ansiosta hän omisti lopulta Norrbyn kaikki kolme taloa. Gustaf Wilhelmillä oli myös oma alus, jolla hän teki Tukholman, Räävelin (Tallinnan) ja Helsingin matkoja.
Ulkomaan reissuilta oli tapana tuoda uusia ideoita ja tuliaisia kotiväelle. Gammelfar maalautti talonsa ensimmäisten joukossa, ottaen mallia Ruotsista Mälarenin rannoilta. Kipparien kodeissa oli tyylikkäät kalusteet ja rouville tuotiin kauniita kankaita ja huiveja. Perniön kartanonväki seurasikin tarkalla silmällä finbyläisten frovuien pukeutumista.
Gammelfar osti kolmannelle pojalleen, Elikselle talon josta tuli Strängnäs Elikselle mieluisan ruotsalaisen kaupungin mukaan (nyk. Vahervaara). Höyryalukset olivat jo vieneet purjealusten kannattavuuden, mutta Elikselläkin oli vielä pari omaa alusta.
Elis onnistui nuorena miehenä hiipimään sellaisen puun alle, jossa käki kukkui. Silloin kaikki toivomukset toteutuvat. Hän esitti toiveen, että saisi talon tyttären Bastmannin Matildan vaimokseen ja yhden lapsen. Käki kuuli väärin ja hän sai Matildan ja 10 lasta. Yleensä äitilinjaa ei pysty kirkonkirjoista selvittämään, mutta Matildan suku juontaa 1200 -luvulla Ruotsiin ja myöhemmin Suomeen komennetuihin aatelisiin.
Elis poikineen vaihtoi sukunimensä suomalaiseksi Karimoksi. Tässä heijastelee Iso-Keisarin suomalaisuusaate. Eliksen aikana siirryttiin ohran viljelystä karjatalouteen ja rehun viljelyyn. Maata raivattiin lisää. Kalastaminen oli aina ollut tärkeä tulonlähde, mutta nyt purjealusten tilalle oli tullut kaivosteollisuus. Särkisalosta ei tarvinnut lähteä leivän perään Amerikkaan, eikä edes Ruotsiin.
Eliksen pojista Martti ja Eino jatkoivat talonpitoa Länsitalossa ja Ylöstalossa, Eero piti minkkilää Vahervaarassa.
Ylöstalossa Pekan ja Länsitalossa Raimon aikana erikoisviljely, sokerijuurikas ja sikatalous olivat pitkään tilan tuotantosuuntia. Traktorit ja muut työkoneet vaihtuivat aina isompaan, jolloin piti myös traktoritallien ovia suurentaa. Lopulta olisi tilakoonkin pitänyt olla vähintään kymmenkertainen. Oli aika kääntää katse uuteen suuntaan.
1980 -luvulla Pekka puolisonsa Sirkan kanssa ryhtyi panostamaan matkailuun. Nyt taloa pitää Pekan poika Juha. Ylöstalon matkailutilalla on vuokramökkejä, vuokraveneitä, juhlatalo Villa Meri sekä erillinen yritys Niksaaressa sijaitseva terassiravintola Nixor. Tärkein asiakasryhmä ovat syksyiset kalastajaporukat, jotka laajentavat sesonkia merenjäiden lähdöstä jäiden tuloon. Kehä oli umpeutunut ja meri toi jälleen leivän Ylöstaloon.
