Kijött az ES 5.3 és végre a top hits!!!

Kicsit bealudtam a post megírása kapcsán, de a hetem léggé sűrű volt. Volt szerencsém a héten Brüsszelbe utazni ahol többek között megnézhettem az egyik legnagyobb kereskedelmi (nem social!) bigdata kezdeményezést, amiről nyilván semmit nem beszélhetek, de eléggé lenyűgöző dolgokat hoztak össze… (ja és persze elasticsearch és hdfs alapokon). Szóval az utazás és az amúgy is sűrű munkanapok miatt csak lassan volt lehetőségem reagálni arra, hogy kijött az 5.3-as stabil főverzió az Elasticseachből és végre hivatalosan is implementálták mind az ES-ben, mind pedig Kibanában a “top hit” aggregációt. Ráadásul mindjárt elég komoly finomhangolásokkal együtt tették ezt. Közel már fél éve várom, hogy ez a feature megjelenjen az ES főveziójában is, eddig csak nagyon komoly hackeléssel lehetett beleerőszakolni a githubon fellelhető projektet. Amúgy ezúton is külön köszi a top hits értelmi szerzőjének “scampi”-nak. A tisztelére és a munkássága elismeréseként az imént említett Brüsszeli utazásomon életemben először megkóstoltam egy scampi (rákocska) alapú kaját. Jelentem túléltem. Nézzük az alap problémát:

– Ugye a Kibana egy nagyon fency vizualizációs eszköz aminek a fő célja, hogy megadott időablakon belül hajt végre bizonyos aggregációkat és azok vizualizálását. Ezen információkat ráhelyezve dashboardokra azonban szembesülünk azzal a problémával, hogy vannak információk amelyeket vagy eleve nem akarunk aggergálni, vagy pedig csak nagyon rövid időre visszamenőlegesen akarunk aggregálni, ezzel megjelentítve prompt, aktuális adatokat is a dashboardokon. Viszont ugyanazon a dashboardon belül szeretnénk megjeleníteni historikus diagrammokat is.
– Gyakorlati példa: Meg akarunk jeleníteni timelionnal egy egy 24 órás terhelés diagrammot, ami mellé szerténk kirakni egy metric típusú vizualizációt ami ugyaennek a terhelésnek éppen az aktuális értékét mutatja számszerűen.
– Erre a problémára ezeddig nem nagyon adott megoldást a Kibana, lényegében annyi maradt alternatívaként, hogy kellett folyamatosan képzeni egy külön indexet amiben a prompt információk legfrissebb adatai voltak csak elérhetők. Ehhez folyamatosan managelni kellett az adott “prompt indexet”, ami igényelt némi workloadot és folyamatos agyalást az indexek tervezésénél.
[commercial_break] Nos ennek vége, itt van a top hit, ami megoldja ezt a problémát, de nem csak úgy egyszerűen, hanem egyből ki is maxolja a témát. A különböző vizualiziációknál számos speciális lehetőséget is ad. Amikkel én személy szerint már használom is a top hit-et: heatmap, metric és data table. Nem kizárt, hogy a többi is támogatja, bár azoknál kevésbé látom értelmét. Saját produktív rendszeremből nem nagyon szeretnék megosztani képeket (időszerű lenne összeraknom egy saját homokozót a blog miatt), de néhány tapasztalatot megosztanék:
– a heatmapokkal csodát lehet tenni a top hit aggregációval. Végre személy szerint értelmát tudtam találni ennek a vizualizációnak.
– Alap esetben a top hit úgy működik, hogy timstampre rendezi az adatsort és megadható, hogy mennyi utolsó elemet vegyen figyelembe. Ez lehet 1 is, de akármennyi érték is. Ha az adott index fix időközünként kap dokumentumot, akkor ebből jól kiszámítható, hogy mennyi elemet aggregálva érünk el utolsó perces, 10 perces, stb. átlagokat. Ha az index tartalma random időközönként bővül, akkor viszont rossz hírem van, egyelőre nincs lehetőség egzakt limitet megadni az aggregációhoz, bár nem kizárt, hogy a jövőben erre is lesz lehetőség.
– A megadott (szűkített) időskálán belül megadható, hogy a megjelenítendő érték milyen aggregációval jelenjen meg. Elérhetők az alap: min, max, sum, avg aggregációk és bizonyos vizualizációkán egyéb speciális aggregációk is.
– A top hit aggregáció mellett érdekes játékteret ad a vizualizációk opciói is. Pl végre van lehetőség “traffic light” jellegű vizualizációt is létrehozni a Options/Custom Ranges segítségével. A top hit aggregáció és a heatmap vizualizáció segítségével tökéletes közúti lámpa (Traffic light) vizualizációs tudunk létrehozni, ami prompt (legfrissebb) értékek alapján tud akár piros, sárga, zöld színeket felvenni.