IOTA: Digitális cserekereskedelem digitális nomádoknak!

Ha ki kellene választanom a cryptogazdaság jelenlegi szereplői közül azt ami talán legjobban kilóg a sorból, akkor kétségtelenül az IOTA-t választanám. Az adat mint fizetőeszköz (lásd Bitcoin és Blockchain – Store of Value) már széles körben elterjedt és elfogadott terminológia, azonban ennek deriváltja már régóta az informatika egyik nagy fejtörője: “az adat mint fizetőképes értékkel bíró egység” megvalósítása. Az adat monetizálása nem újkeletű történet, a korai internetes reklámoktól kezdve a “fizess az után, amit használsz” internetes csomagokon keresztül számos példájával találkozhatunk. Valahol ide tartozik maga a cryptobányászat is hiszen itt is monetáris értékkel rendelkezik a számítási kapacitás, de pozitív példák végtelenjét lehetne még felsorolni. Az elemi adat mint fizetőképes érték mára széles körben elfogadott frázissá vált, lásd a Bigdata koncepció. A nyers adatok hatékony elemzéséből az elmúlt évtizedben olyan gigantikus vállalatok növekedtek ki szinte a semmiből mint a Google vagy a Facebook, de bőven ide lehet sorolni akár az Amazont is. Aki azt hiszi, hogy a Google-t a keresés, a Facebookot a közösségi média (az Amazon pedig a könyvek) tették naggyá, az ennél nagyobbat nem is tévedhetne. Valójában ezek a cégek olyan technológiák úttörői mint a gépi tanulás, az automatizálás vagy a természetes szöveg értelmezés.

Az IOTA projekt célja egy egységes közvetítőréteg létrehozása az elemi adatok továbbításának és kezelésének és ami talán ennél is fontosabb: biztosítani az elemi adat értékének mérhetőségét és elszámolhatóságát (monetizálás). Ehhez létre kíván hozni egy machine-to-machine fizetési rendszert, amiben az eszközök fizetnek más eszközök adataiért és fizetséget kapnak más rendszereknek nyújtott adataikért. Milyen eszközök rendelkeznek monetizálható adatokkal? Olyan eszközök, melyek vagy önmagukban is értéket termelnek (pl. speciális számítási kapacitás) vagy olyan eszközök amelyek szenzoraikon keresztül olyan mérhető információkkal rendelkeznek melyek mások számára értékkel bírhatnak. A mérhető adatokra épülő iparági fejlesztések mára meghatározóvá váltak, legyen szó sporteszközökről, szórakozásról, közlekedésről vagy akár mezőgazdaságról.

Mivel konkrét példák nélkül baromi nehéz bármit is kezdeni a machine-to-machine payment rendszerrel, ezért ragadjunk is le mindjárt egy kicsit a mezőgazdaságnál. Szándékosak választottam egy olyan iparágat, ami talán a legtávolabb van a cryptogazdaságtól. Ha ennek kapcsán be tudom bizonyítani az IoTA létjogosultságát az olvasónak, akkor talán nem kell túlmagyarázni a további példákat.

Folytatás…

Kijött az ES 5.3 és végre a top hits!!!

Kicsit bealudtam a post megírása kapcsán, de a hetem léggé sűrű volt. Volt szerencsém a héten Brüsszelbe utazni ahol többek között megnézhettem az egyik legnagyobb kereskedelmi (nem social!) bigdata kezdeményezést, amiről nyilván semmit nem beszélhetek, de eléggé lenyűgöző dolgokat hoztak össze… (ja és persze elasticsearch és hdfs alapokon). Szóval az utazás és az amúgy is sűrű munkanapok miatt csak lassan volt lehetőségem reagálni arra, hogy kijött az 5.3-as stabil főverzió az Elasticseachből és végre hivatalosan is implementálták mind az ES-ben, mind pedig Kibanában a “top hit” aggregációt. Ráadásul mindjárt elég komoly finomhangolásokkal együtt tették ezt. Közel már fél éve várom, hogy ez a feature megjelenjen az ES főveziójában is, eddig csak nagyon komoly hackeléssel lehetett beleerőszakolni a githubon fellelhető projektet. Amúgy ezúton is külön köszi a top hits értelmi szerzőjének “scampi”-nak. A tisztelére és a munkássága elismeréseként az imént említett Brüsszeli utazásomon életemben először megkóstoltam egy scampi (rákocska) alapú kaját. Jelentem túléltem. Nézzük az alap problémát:
Folytatás…

Hogyan joinoljunk Elasticsearchben?

Oké, ennyire hülye címet is már régen adtam bármilyen postnak. De lássuk csak, hogy miről is akar ez szólni. Ugye a JOIN egy közkedvelt eszköze a relációs (RDBMS) adatbáziskezelőknek, ami pont az a tulajdonságot használja ki, hogy az adatbázis relációs és annak tartalma normalizált ÉS feltételezhetően vannak benne relációk. Ezen relációk adják az RDBMS rendszerek valódi lépéselőnyét a saját pályájukon. A JOIN lényege az, hogy egy vagy több tábla között létrehozunk logikai kapcsolatot és ezen kapcsolatokon keresztül bonyolult lekéréseket tudunk létrehozni. (vagy éppen ki tudjuk nyírni az egész RDBMS-t egy gyönyörű kaszkád szorzással…)
Namost az Elasticsearch az sem nem RDBMS, sem nincsennek benne reálciók (óóó, dehogy nincs… lásd a cikk végén a parent/child relációt…) és úgy egyébként a JOIN-nak sincs semmi értelme benne. Miért is nincs értelme a JOIN-nak? Az Elasticsearch (és igaz ez a legtöbb key=value alapú NoSQL motorra) pont arra az elvre épül fel, hogy minden egyes dokumentum önálló elem melyek önmagukban értemezhetők és esetleg valamilyen statisztikai elemzést vagy aggregációt akarhatunk rajta végrehajta. Mivel erre van optimalizálva az egész motor, ezért semmi értelme az olyan relációs adatmodellnek, ahol egy indexben tárolunk mondjuk dokumentumokat és felhasználói ID-kat, egy másik indexben pedig tárolunk a felhasználói ID-khoz tartozó neveket és egyéb adatokat. Sokkal egyszerűbb minden releváns adatot minden dokumentum esetén tárolni, hiszen a háttérben a NoSQL motor gondoskodik arról, hogy ezek az adatok ne redundánsan tárolódjanak. Ráadásul az ilyen erőltetett kereszthivatkozások csak lassítják is a keresési performanciát.
Folytatás…

Tisztázzuk az alapokat: big data, nosql, ES, APM

Mielőtt nagyon belemélyednél a konkrét témákba (lásd címben), talán érdemes tisztázni, hogy mit is jelentenek ezek a fogalmak, mi közük van egymáshoz és konkrétan én mit értek ezeken. Ebben a postban véletlenül sem szeretném tudományos alapokig részletezni és szakmailag sem mennék bele. Célom csak egy általános kép kifejtése azoknak, akik csak most ismerkednek ezekkel a fogalmakkal.
Big data: kezdeném is mindjárt a legnagyobb lufival. Kezdetben vala a strukturált adattárolás, amikor (az ősidőkben) még luxus volt az adattár, jól végig gondoltuk, hogy mit is akarunk tárolni és törekedtünk arra, hogy ezt a leginkább optimális módon tegyük. Ezzel együtt eljött az internet, eljöttek a felhők (nem… nem a skynet) és eljött mindaz, ami ma jellemzi az adattárolást. Az olcsó adattárolás, a mesterséges(-nek tűnő) intelligencia (gépi tanulás) és strukturálhatatlan adatkörök miatt jöt létre az a valami, amit big datanak nevezünk. Mi jellemzi ezt: gyakorlatilag mindent tárolunk amilyen adatot csak elő tudunk állítani, annak minősége, jellege és értelme nélkül, mindezt tesszük azzal a szándékkal, hogy később feltételezhetően fel fogunk fedezni olyan összefüggéseket, amik értelmet adnak a strukturálatlan adatnak. A régi mondás, mely szerint “a kevesebb több”, mára átalakult a “több az több lehet” mondássá.
Folytatás…

ELK: Több Elasticsearch [ES] node futtatása egy hoston

Aki ismeri az Elasticsearch [ES] filozófiáját, az pontosan tudja, hogy alap esetben semmi érteme nincs annak, hogy egy hoston több nodeot futtassunk, hiszen mi is az ES esszenciája: Végy egy halom középkategóriás, olcsón fenntartható gépet, majd minden különösebb technológiai tudás nélkül rakd fel rájuk az ES-t, kapcsold öket egy clusterbe és jöhet a fun. Ha pedig mégsem jön, mert ez így nem elég hatékony, akkor optimalizáld a shardok eloszlását, rakj hozzá a clusterhez még néhány gépet és ezen egyszerű eszközökkel lényegében bármikor tudod skálázni a clustert.

Azonban nagyvállalati környezetben előfordul, hogy középkategóriás olcsó gépek helyett komolyabb vasak kerülnek a kijelölésre. Ilyenkor meg kell tudni találni az ésszerű középutat. Egy önálló ES node kapcsán van néhány olyan technikai függőség, ami meghatározza, hogy maximum mennyi erőforrást tud optimálisan használni. Ezen függőségek közül a leginkább fontos talán a heap size:

  • Az elasticsearch technológiailag java virtuális gépben fut, aminek a heap kezelése erősen kihathat az ES működésére. Technológiai adottság, hogy 32Gb heap size alatt a JVM compressed object pointer (compressed oops) technológiát használ a heap kezelésére, ez felett már nem lehet használni ezt az opciót, ami jelentősen rontja a JVM hatékonyságát.

Folytatás…