CryptoCulture: A programozás mint alap nyelvtudás…

Adja magát, hogy a pénzügyi forradalomnak álcázott kriptovaluta térhódítás fő célja a “pénzből még több pénzt csinálni” elv manifesztálása, azonban aki minimálisan is veszi a fáradtságot, hogy mindezek mögé nézzen, az pontosan látja, hogy itt a világ legnagyobb géniuszai már a jövő kultúráját építik. Azt a kultúrát, ahol nem kerülsz hátrányba a származásod, a vallásod vagy akár a születési helyed okán. Bár tudom, itthon kifejezetten nem trendi a ‘nyílt társadalom’ mint eszme, sőt tűzzel-vassal és királykék óriásplakátokkal üldözött, mindettől függetlenül a blog  informális jellegét kihasználva engedjétek meg, hogy felhívjam a figyelmeteket arra, hogy a kriptokultúrák legfrissebb vívmányait javarészt olyan emberek készítik, akik származásuk és kasztrendszerüknek megfelelően egyébként életük legnagyobb eredményeként csak azt tudhatnák felmutatni, hogy a mindenkori legfrissebb iPhone kamerájának optikáját polírozták egy koszos, poros műhelyben valamelyik kimondhatatlan nevű kínai városkában. Ha belepillantotok az összes szörnyen menő éppen felfutófélben lévő ICO marketinganyagába, akkor ott az esetek elsöprő részében orosz vagy kínai esetleg arab illetőségű csapatokat láttok. Hogy mitől jók ezek a csapatok? Leginkább attól, hogy az anyanyelvül mellett folyékonyan beszélnek angolul és legalább ennyire készségszinten tudnak programozni is. Ja és persze a buy és sell gomb nyomogatása helyett legalább addig eljutottak, hogy legyen egy jó ötletük…

Folytatás…

A jövő legkeresettebb $crypto szakmái

Token architect, cryptoeconomist, $crypto-oracle, csak néhány példa azon ma még szinte ismeretlen vagy nem is létező szakmák közül, amik akár egy-két éven belül a legkeresettebbek lesznek. Ma már nem néz senki ferde szemmel, ha egy cég “blockchain developer”-t vagy smart contract fejlesztőt keres, bár nem is oly rég ezen még sokan nevettek volna. Ha csak rápillantok hazánk legnagyobb karrier portáljára, már ott is lehet találni “blockchain developer” pozíciót. Közismert, hogy több hazai cég is kísérletezik a témával, legutóbb pont az interticket jegyértékesítő vállalkozás hírdetésébe ütköztem, akik blockchain fejlesztőt toboroznak.

source: @cointelegraph

10 éve a csapból is az folyt, hogy hiányszakma a Java fejlesztő. Az utóbbi években mindenki Bigdata és machine learning architektet vagy fejlesztőt keres.  Nézzük, mik is lesznek azok a jövőbeli lehetőségek, amik komoly vakaródzást fognak okozni a fejvadászoknak, hiszen ez a történet nem áll meg a “blockchain developer” kategóriánál.  Az olyan platformok, mint az Ethereum vagy a Waves már most is lehetővé teszik, hogy a token és smart-contract kibocsátásokon keresztül anélkül lehessen felhasználni a blockchain technológiát, hogy teljesen új blockláncot hoznánk létre. Egyre nagyobb igény van a decentralizált pénzügyi rendszerekre, amelyek a bankok és egyéb harmadik fél által nyújtott szolgáltatások nélkül képesek garantálni a felek közötti tranzakciók biztonságát.

Folytatás…

Egy csipet deep learning, egy tk blockchain és némi quantum-computing. Mi forr az üstben?

Nagy fába vágtam a fejszémet amikor nekifogtam egy újabb kifejtős, elemzős postnak amiben az BIP148 és az Ethereum:Metropolis augusztus-szeptemberre történő aktiválódásának lehetséges hatásait ecsetelem. A problémát leginkább az okozza, hogy az olvasóval szemben számos olyan tudományos ismereteket követelnek meg ezek a témák, melyekre nem tekinthetek az általános tudás részeként. Az ellentmondás feloldása érdekében ezért készítettem egy külön postot, amiben körbejárom azokat a néhány éven belül a mainstreambe is betörő tudományos kihívásokat, melyek lényegesen fogják befolyásolni a blockchain alapú technológiák fejlődését. Nézzük mik is ezek a kihívások 2020-ig:

Folytatás…

NumPy (Python) és a Sharpe ratio barátsága

Kissé nagy fába vágtam fejszémet a Machine Learning cikksorozatom kapcsán, amikor az előző fejezetben azt ígértem, hogy hamarosan konkrét alkalmazást fogok bemutatni a gépi tanuláshoz. Már persze nem az okozza fejtörőt, hogy élő példát mutassak az alkalmazásra, hanem, az hogy miként lehet ezt normálisan a blog keretei között bemutatni. Az ezzel kapcsolatos cikk vagy iszonyatosan hosszú lesz és szinte lehetetlen lesz követni, vagy pedig olyan tudásra kell hagyatkoznom, amivel az olvasó vagy rendelkezik, vagy nem. Ez utóbbi eléggé lutri. Ezért néhány kitekintő cikkel mutatom be a NumPy alapjait, ami egyébként lényegében az összes python alapú tudományos számítási és machine learning megoldás alapját is adja.

A numpy néhány alap funkcióját egy nagyon tipikus pénzügyi metóduson keresztül (Sharpe ratio számítás) mutatom be: Ennek lényege, hogy valamilyen ismert kockázatmentes portfolióhoz/termékhez képest kerül mérésre egy adott eszközalap vagy részvénypiaci termék teljesítményének szórását. Sharpe ratio lényegében egy referencia értéket ad meg, ami egységesen mutatja az adott eszközalap kockázat-hozam mutatóját.
Folytatás…

Machine Learning (ML) II. fejezet – lineáris regresszió

Ez a cikk egy több fejezetes gépi tanulásról szóló cikksorozat második fejezet. A jelenleg elérhető fejezetek:

  1. Machine Learning (ML) I. fejezet – ismerkedés az alapokkal

Miután az alapokkal megismerkedtünk ideje belecsapni a lecsóba. A Machine Learning (ML) egyik leggyakrabban használt és legszélesebb körben ismert interpretációja a regresszió és annak alternatívái közül is a lineáris regresszió. Sokan ezen szó hallatán gyomorgörcsöt kaphatnak és rémálomként idézhetik fel az egyetemi mat/gazd. stat. élményeiket. Igen, ez ugyanaz a regresszió, amiről ott is tanultatok.

Azon olvasóknak akiknek vagy már megkopott ez a tudása, vagy nem is tűnik számukra ismerősnek ez, azoknak egy kis gyorstalpaló:

Folytatás…

Machine Learning (ML) I. fejezet – ismerkedés az alapokkal –

Ez a cikk egy több fejezetes gépi tanulásról szóló cikksorozat első fejezet. A jelenleg elérhető fejezetek:

  1. Machine Learning (ML) I. fejezet – ismerkedés az alapokkal
  2. Machine Learning (ML) II. fejezet – lineáris regresszió

Sokszor hallottam, olvastam már, hogy a Machine Learning (ML), magyarul: Gépi tanulás, lényegében egy olyan szintje az informatikának és az adatelemzésnek, amely már sokkal inkább tudományos tapasztalatokat igényel, mintsem programozói ismereteket. Sok esetben valamiféle mesterséges intelligenciának tekintik a ML-t (nem alaptalanul), amely abból a szempontból igaz is lehet, hogy a hétköznapi életben ismert és használt gépi tanuláson alapuló megoldások (pl. beszédfelismerés, képeken arcfelismerés, stb.) valóban mesterséges intelligenciára és gépi tanulásra épülne. Ettől függetlenül a gépi tanulás egyébként közel sem annyira nagy ördöngösség ami miatt tudományos fokozat kellene a megértéséhez és használatához.

Folytatás…

Timeseries vizualizáció: Kibana Timelion

Jelenlegi post még a timelion funkcionalitására épül, azonban itt jegyezném meg, hogy az 5.4-es főverzió kapcsán kiadott közlemény alapján ezek a funkciók (vagy legalábbis nagy részük) már elérhető lesz közvetlenül a beépített Kibana vizualizációs eszközökkel is. Addig is amíg nem kerül kiadásra az 5.4, viszont marad a timelion. A timelion eredetileg egy függetlenül fejlesztett Kibana plugin volt, ami az 5.0-ás főverziótól kezdődően beépült az alap Kibana funkciók közül (a Sense pluginnal együtt).

A timelion talán legfontosabb funkciója az összehasonlítható és vizuálisan részletgazdagabb chartok képessége. Mindemellett a timelionban készített vizualizációk minden gond nélkül rárakhatók tetszőleges dashboardra vegyesen akármilyen más Kibanás vizualizációval együtt.

Folytatás…

Elasticsearch Index és a performancia

Az Elasticsearch alapértelmezetten nem spórol az indexekben tárolt dokumentumok kapcsán az erőforrásokkal. Ha az adott index nem rendelkezik egy jól felépített és átgondolt mappinggel, akkor az ES gyakorlatilag “szabadfolyást” tart, minden szöveges típust analizál, minden olyan adatot ami rendezhető vagy aggregálható azt inmemory bufferbe lapoz, ráadásul menedzsel egy csomó olyan virtuális fieldet is mint pl az: _all.

Ezzel az ES egy végtelen rugalmasságot és könnyed felhasználást teszt lehetővé, ami a legtöbb projekt esetén egyébként nagyon pozitívan értékelhető hozzáadott érték. Azonban ennek megvan az ára, ez pedig a performancia. Egy tetszőleges ES installment esetén elmondható, hogy néhány millió dokumentumig nem nagyon kell foglalkozni a mappingekkel, hiszen itt még bőven érvényesül az a fajta distributed processing hozzáállás, hogy ha kezd lassulni az indexelés vagy a keresés, akkor bővíteni kell a clustert egy-két extra node-dal (már persze ha az index shard beállításainál ügyeltünk arra, hogy ennek legyen értelme…) és máris normalizálódik a performancia.

Folytatás…

Big Data: Hadoop vs Elasticsearch, mond Te mit választanál?

Amikor napjainkban előkerül az a kifejezés, hogy Big Data, akkor ennek a hátterében (technológiai értelemben) vagy egy Hadoop alapú környezet, vagy egy Elasticsearch áll. Vagy persze ennek valamilyen jellegű kombinációja. (pl hdfs alapú adattárolás mellett nosource indexed elasticsearch kereséshez).

Ez a két technológia lényegében uralja a piacot. Előbbi ugye egy robosztus rendszer, ami modulok és célalkalmazások százait vonultatja fel, az utóbbi pedig leginkább keresésre való, de arra viszont nagyon. A megközelítéssel ugye az a baj, hogy a Big Data mint kifejezés pont annyira egzakt mint mondjuk a “cloud”. Tehát önmagában semmit sem jelent és lényegében bármire lehet használni.  A megvalószítás technológiai eszközének kiválasztásához nem árt végig gondolni, hogy mit is akarunk tárolni a big data-ban és mit is akarunk azzal csinálni.

Folytatás…

Kijött az ES 5.3 és végre a top hits!!!

Kicsit bealudtam a post megírása kapcsán, de a hetem léggé sűrű volt. Volt szerencsém a héten Brüsszelbe utazni ahol többek között megnézhettem az egyik legnagyobb kereskedelmi (nem social!) bigdata kezdeményezést, amiről nyilván semmit nem beszélhetek, de eléggé lenyűgöző dolgokat hoztak össze… (ja és persze elasticsearch és hdfs alapokon). Szóval az utazás és az amúgy is sűrű munkanapok miatt csak lassan volt lehetőségem reagálni arra, hogy kijött az 5.3-as stabil főverzió az Elasticseachből és végre hivatalosan is implementálták mind az ES-ben, mind pedig Kibanában a “top hit” aggregációt. Ráadásul mindjárt elég komoly finomhangolásokkal együtt tették ezt. Közel már fél éve várom, hogy ez a feature megjelenjen az ES főveziójában is, eddig csak nagyon komoly hackeléssel lehetett beleerőszakolni a githubon fellelhető projektet. Amúgy ezúton is külön köszi a top hits értelmi szerzőjének “scampi”-nak. A tisztelére és a munkássága elismeréseként az imént említett Brüsszeli utazásomon életemben először megkóstoltam egy scampi (rákocska) alapú kaját. Jelentem túléltem. Nézzük az alap problémát:
Folytatás…