Atvirasis Vilnius

Vilniuje išrinktas naujas meras, atsinaujino taryba ir administracijos aparatas. Ir ši valdžia nuo pat pirmų dienų imasi spręsti atvirų duomenų klausimą. Klausimą, kuris ilgą laiko buvo kaip tabu. Gerai pamenu, kaip prieš porą metų teko bendrauti su savivaldybės ir „Vilniaus plano“ darbuotojais dėl bendradarbiavimo su OSM bendruomene. Tie susitikimai nebuvo tokia jau paprasti, o rezultato pasiekti nepavyko. Savivaldybės duomenys, jei ir buvo publikuojami, tai tik labai atkaklių asmenų dėka. Šiandien situacija keičiasi kardinaliai.

Nežinau ar buvo specialiai tam kviestas, ar kažkaip išrinktas, bet atvirų duomenų klausimo ėmėsi spręsti portalo freedata.lt įkūrėjas Povilas Poderskis. Netrukus Povilas pradėjo dalintis soc. tinkluose ir opendata.lt portale savo įspūdžiais iš savivaldybės. Dar po kurio laiko Vilniaus susikūrė savo github.com paskyrą. WOW! Čia tai bent šuolis – nuo visiško tabu iki pačios populiariausios atviro kodo platformos.

Ir nuo pat pirmos dienos github.com/vilnius atsirado tokių duomenų, kaip reklamos plotai, darželinų sąrašai, žemės nuomos sutartys, mažos vertės pirkimai ir net spausdintuvų naudojimas pačioje savivaldybėje. Yra ir geografinių duomenų – 2015 metų bendrasis planas. Tiesa, duomenų rinkinys skurdokas, bet iniciatyva puiki.

Ir tai dar ne viskas. Povilas iš tiesų pasistengė ir per tokį trumpą laiką paleido savivaldybės atvirų geografinių duomenų portalą! Pagaliau atsirado pilnavertis daiktas, su paieška ir duomenų peržiūra tiek žemėlapyje, tiek duomenų lentelėse. Pačių duomenų dar nedaug, reikia turėti omeny, kad tai tik pradžia (tikiuosi), bet iniciatyva puiki, tikrai 🙂

Ir tai dar ne viskas 🙂 Pasirodo, greitu metu atsiras dar vienas dviračių žemėlapis bikes.vilnius.lt. Kolkas šis puslapis neveikia ir sunku pasakyti, kuo jis bus geresnis už eilę kitų dviračių žemėlapių. Neaišku, ar bus galimybė panaudoti duomenis, kaip jie atrodys lyginant su OSM.

Taipogi Povilui pavyko atrasti dar vieną savivaldybės iniciatyvą. Šį kart tai kapinių žemėlapis cemety.lt. Sistema leidžia peržiūrėti kapų poligonus kapinių teritorijoje, vykdyti paiešką pagal vardą arba gimimo/mirties metus. Žemėlapio bazinis sluoksnis – standartinis OSM. Viskas būtų gerai, bet yra tik vienos kapinės ir kažin ar atsiras daugiau.

Naujienų daug ir paminėjau ne visas. Plačiau iš paties Povilo galima pasiskaityti pinigų kartoje. Nauji vėjai savivaldybėje pradėjo daug gerų iniciatyvų. Atvirų duomenų srityje, vos per porą mėnesių buvo padaryta daugiau, nei per pastaruosius 5 metus. Jei taip ir toliau, tai po metų-kitų Vilnius taps pavyzdine savivaldybe. Belieka palinkėti, kad šios iniciatyvos neišblėstų, o naujasis meras su komanda ir toliau taip ryžtingai imtųsi reikalingų darbų.

Share

ORT10LT klasteris

Kaip žinot, šiais metais gavome oficialų leidimą naudoti ORT10LT ortografines nuotraukas žemėlapių kūrimui. Buvo super, įvyko didžiulis proveržis bendraujant su valstybinėm institucijomis, gautos puikios kokybės nuotraukos, bet jos teikiamos ne itin patogiu servisu ir lėtai. Buvo nuspręsta paleisti proxy servisą, kuris automatiškai konvertuotų į reikiamą failų struktūrą ir pagreitintų veikimą. Bet šis serveris pareikalavo resursų(~100GB 2013 liepą), kuriuos turėti duomenų centre kainuoja, gal ir nedaug, bet suma vis dėl to susidaro. Poreikis bėgant laikui vis auga.

Po poros nesėkmingų bandymų susitvarkyti su tokiais duomenų kiekiais, buvo nuspręsta ieškoti pilnai decentralizuotos platformos ORT10LT paveikslų saugojimui. Turint klasterį, visi norintys ir galintys galėtų prisijungti prie jo ir tokiu būdu panaudoti savo asmeninius kompiuterius bendram reikalui. Tokia platforma buvo pasirinktas Riak ir jis pateisino savo vardą. Šiandien veikia 4 mazgai, kiekvienas iš jų saugo ~40GB duomenų. Tokiu būdu pasiskirsto tiek duomenų tūris, tiek ir jų srautas. Kuo daugiau mazgų, tuo mažiau reikia resursų iš kiekvienio iš jų. Iš esmės Riak veikia P2P principu ir klasteryje nėra nei vieno centrinio mazgo. Vienam mazgui sustojus, jo darbą automatiškai perima ir tęsia likusieji. Taigi, Riak leidžia paprastai turėti net ir labai didelę duomenų saugyklą. Problema kaip ir išspręsta, belieka tik rast savanorių, kurie galėtų ir norėtų panaudoti dalį savo asmeninių kompiuterinių resursų bendram tikslui.

Ką prarasiu, kokie reikalavimai? – pirmieji klausimai, ateinantys į galvą svarstant tokią galimybę. Atsakymas paprastas – prarasit ~50GB kieto disko vietos, 512MB operatyvinės atminties ir truputi duomenų srauto. Na o Jūsų kompiuteris/serveris turėtų būti bent dvigubai talpesnis, kad klasterio mazgas neužgoštų kitos veiklos.

Kam ir kokia iš to nauda? Naudą gaus visi, kas naudoja ORT10LT OSM vystyme. Juk kuo daugiau klasterio mazgų, tuo labiau pasiskirsto duomenys ir jų srautas, tuo mažesnė tikimybė sutrikdyti klasterio veikimą vienam iš mazgų „nulūžus“, tuo labiau išlošia OSM bendruomenė. Nei aš, nei kas nors kitas, jokios asmeninės naudos iš šio klasterio neturės. Klasteris naudojamas išskirtinai tik ORT10LT paveikslams.

Taigi, jei nusprendėte prisidėti, tai padaryti galim dviem būdais:

Antrasis būdas sunkesnis, ypač jei nenaudojate Debian šeimos operacinės sistemos, todėl pradžiai rekomenduočiau naudoti pirmąjį būdą. Kilus klausimams visada galima kreiptis į mane, Ramūną, arba Tomą asmeniškai arba per talk-lt.

Share

Pasipildė Bing Maps

Bing Maps savo palydovinį žemėlapį papildė milžinišku 13 mln. kilometrų plotu naujų nuotraukų, kas sudaro beveik 316Tb[1]. Nemažai pasipildė ir Lietuvos teritorijoje, atsinaujino kai kurie plotai, bei dingo tarpai tarp senųjų didelės rezoliucijos plotų. Peržiūrėti dabar esantį padengimą galite čia.

Ta proga siūlau pažiūrėti 4 minučių video apie palydovų industrijos istoriją.

[1] http://www.bing.com/blogs/site_blogs/b/maps/archive/2013/09/06/bing-maps-publishes-13-million-square-kilometers-of-imagery.aspx

Share