Magamról

Saját fotó
Főiskolai, majd egyetemi diplomamunkáimtól kezdve világ életemben, adatok, adatbázisok, adattárházak (leginkább Oracle) környékén mozogtam. Mostanság adattárházasként, adatbányászként élem napjaimat.

2013. július 19., péntek

Támad a Facebook, védekezzünk!


Támad a Facebook, védekezzünk!

Akármilyen szigorú beállításokat alkalmazunk, akkor is lesznek olyan dolgok, amiket szinte csak akkor úszhatunk meg, ha nem is regisztrálunk a közösségi oldalra.

Ritka, mint az albinó pingvin, hogy az index.hu-n értelmes cikk jelenjen meg, horribile dictu még blogposztot is generáljon, ráadásul rövid időn belül a másodikat. ;)

A fenti mottó önmagában komment nélkül is megállja a helyét, oly mértékig zseniálisan lényegretörő (noha egyébként végtelenül szomorú). Nem véletlen, hogy kivételesen nagyobb betűtípust használtam az idézetnél.

Az utóbbi időben felpörgött ez a blog is, több minden ujdonságban, okosságban igyekeztem meglátni a pozitívumot, előrevívőt. De, ha van valami, amivel a világból lehet kiüldözni, az a Facebook. Az egész téma oly mértékig kétélű, amennyire talán semmi más.

Egyrészt van a "social network" mint funkcionalitás.Milyen nagyszerű, ha keretében, osztálytalálkozók tudnak létrejönni, vagy hogy saját példámnál maradjak, ha tudnék egy hasonló oldalt menedzselni a kottás videóimnak.Ugyanakkor másrészt lássuk be komoly addiktivitási kockázata van a dolognak, amikor lassan minden más értelmeset kiszorít az ember életéből, annak révén, hogy egyre több lényegtelen információ jut el egyre több ember hirdető táblájára.

Aztán ott van a központosítottság. Akkor jó, ha monopolhelyzetben van egy ilyen honlap, hiszen mindenkinek csak egy helyre kell regisztrálni, és így ér el legkönnyebben, legvalószínűbben másokat. Régen Iwiw, ma Facebook (kicsiny hazánkat tekintve). Most képzeljük el a hatékonyságot, ha csillió ilyen kis honlap lenne. A social network lényege veszne elé. Ugyanakkor másrészt lássuk be, ez a hálózati topológia a legsérülékenyebb, ez csábít leginkább visszaélésre. Én azt mondom, ha érintve akarok lenni a témában, akkor Diaspora-szerűség ("distributed social network"'), és semmi más.Pláne nem Mark Zuckerberg Facebook-ja.

És ezzel elérkeztünk a harmadik ponthoz. Lassan 30 éve nyomom az IT-t (szakdolgozatomat is beleszámítva), de John McAfee után a második legvisszataszítóbb - hatalommal bíró - figurája az egész IT-biznisznek, Mark Zuckerberg, lekörözve a Microsoft-os Bill Gates-t vagy éppen az Oracle-s Larry Ellison-t, pedig ők is roppant visszataszítók.Ha lenne macskám, az alomcseréjét nem bíznám rá(juk).

Nincsenek kétségeim, nem véletlenül hatékony például egy Google, a személyreszabásban. Ők is magasról tesznek az ingyenesség égisze alatt, az adatvédelemre (pontosabban humanoid lények adatainak védettségére, ugye) Mégis legalább a látszatból, legalább valamit megőriztek. Míg az új generációs Mark Zuckerberg látványosan ment eddig szembe minden ilyen szempontnak, a saját önző érdekei mentén. És, ami külön nagyon szomorú, lényegében meg is tehette.

A Facebook jelenleg a csúcson van. Sokan vannak ott, nem látszik vészes lejtmenet, és a legkritikusabb problématengerben a mobiltelefon-káoszban is utat látszanak törni. Mégis fel merem tenni a költői kérdést, hogy hány éve van még a Facebook-nak, mert hosszútávon én nem érzem életképesnek a kialakult infrastruktúráját?!

Jah egyébként, nem hogy nem regisztrálok a Facebook-ra, de személyemben legalább ellendrukkere is van a cégnek, ha ez nem lett volna világos a posztból - no nem mintha ennek lenne bármi jelentősége...

Mondom ezt egyébként úgy is, hogy a hálózatok adatbányászata egyébként szintén nagyon érdekes téma, csak egy "szimpla" Netflix ajánlórendszert tekintve is. ;)

Számítógép fedte fel J. K. Rowling titkát


Számítógép fedte fel J. K. Rowling titkát

Nemrég jelent meg a The Cuckoo's Calling című detektívregény, egy bizonyos Robert Gailbraith tollából: nem produkált hatalmas eladásokat, de jó kritikákat kapott. Aztán kiderült, hogy a valódi szerző a Harry Potter-sorozat írója, J. K. Rowling. Miután a Times kérdőre vonta, Rowling elismerte, hogy valóban ő a szerző.
Ez bizony nem sci-fi, meg nem "brittudósos" marhaság, még ha az indexen is olvastam. :)

Amikor annó sok évvel ezelött beleugrottam az "adatbányászat" nevű mélyvízbe, ez a szövegbányászati feladatcsalád volt számomra az egyik legizgalmasabb, legkedvesebb.

Előzmény: index.hu-s fórumolásoknál, az ottani permanensen inkorrekt moderatúra miatt értékes nickek vesztek el a beszélgetésekből, akik más nickeken visszatértek és azonnal lehetett tudni, hogy mely nickek mögött ugyanaz a személy. A kérdés csak az volt mindig is, hogy gépi tanulással is detektálható-e a dolog, Ha igen, hogyan miképpen? Mi az a dologhoz szükséges minimális információtömeg, ami maximalizálja a prediktálási valószínűséget? Egyáltalán hogy korrelál a két dolog (alapszöveg és a reáépülő prediktálási minőség) egymással.

Sajnos azóta sem tudtam mélyebben foglalkozni a témával. De van egy sejtésem, amit talán egy ilyen blogposzt elbír.

Közkeletű axióma adatbányászoknál, hogy a több adat nem feltétlen jobb (hiszen, ha zaj a több, akkor éppen hogy rosszabb), sőt nemegyszer a kevesebb relevánsan több, akár csak az átalános dimenzióredukciós módszereket alkalmazva is.

De nem így ennél a feladatcsaládnál talán. Itt a "több"-et egyetlen ember generálja és nem pedig "gép(ek)/emberek". Az egyetlen ember meg (agyi és pszichológiai) korlátot jelent a tanuló algoritmusok zaj általi megzavarásában. Egy ember minél többet beszél annál többet árul el magáról. Nem véletlen, hogy rendőrségi nyomozásoknál is élnek a "mennyiségi kényszer"-rel, kihallgatásoknál, vagy pszichológiai jellegű kérdőíveknél egy szempontra többször többféleképpen kérdeznek rá.

A konklúzióm/sejtésem tehát: Az ember hibázik és időben távolodva egyre nehezebben tudja koherensen becsapni a gépet (gépi tanuló algoritmusokat).

2013. július 16., kedd

"2.1 billio dollárt költ a világ informatikára" (index.hu)


http://index.hu/tech/2013/07/16/2_1_billio_dollart_kolt_a_vilag_informatikara/

Nem tudom a közölt adat "konfidencia-szint"-jét. ;)
De abban azért eléggé biztos vagyok - nézve iparági folyamatokat -, hogy durván nagy része olyan, mintha a kukába öntenék ki... ;)

Mi a legfontosabb (a sikerhez vezető úton)?


Az igazi vasember

Most olvastam a fenti cikket.
Egy bekezdése nálam megér egy villám posztot.
Az áthallás, kifejezetten nem a véletlen műve. ;)

"Kedvenc könyve a Galaxis útikalauz stopposoknak: „Megtanít arra, hogy az igazán nehéz dolog a megfelelő kérdéseket feltenni. Ha az megvan, a többi már gyerekjáték" – mondta egy interjúban, a regény klasszikus viccére, a 42-re utalva"

2013. július 9., kedd

Tableau: Eset a NEM-létező egzotikus nagygépes adatpiaccal


Folytathatnám a megkezdett "Mindennapi Tableau-örömök" sorozatot, de arra gondoltam az olyan uncsi lenne. Ráadásul ezt a cím-poén-t a világért sem akartam volna kihagyni, még ha vele úgymond "felmentést" is adok a www.bi.hu -nak, hogy kitegye blog-ketrecébe ezt a blogposztot, például a cím hosszúsága miatt.  :)

Ismét sikerült beleszaladni egy real-world Tableau-projektbe, amit aztán már nem volt nehéz általánosítani, ennek rövid leírása következik alább. Nem hinné az ember, de az élet tele van Tableau-kihívásokkal és persze az ember nagyon örül neki, hiszen Tableau-val foglalkozni JÓ.:)

A Tableau közel 40 különböző dedikált adatforrásféleséghez tud kapcsolódni. De mi van - merül fel a kérdés -, ha véletlenül ez sem elég. Mert például van egy olyan egzotikus, mondjuk most így, nagygépes adatbázisunk  - azért ehhez már "tudni" kell megfelelő helyeken forgolódni :) -, amihez véletlenül nincs még ODBC-elérés sem. Az egyetlen amiben bízhatunk, hogy a nyers táblák a pöre valóságukban kiexportálhatók TXT-kbe.

Igen ám, de nem akarnánk megelégedni a zajos-szemetes nyers txt-file-okkal, szeretnénk adatpiac-szerűséget, némi transzformációkkal. Mi sem egyszerűbb ODBC Text-driver segítségével (ami minden korszerű Windows-os gépen ott lapul, de vigyázat 64-bites Windows-ok esetén is a 32-bites ODBC-t kell/célszerű használni), a Tableau-ból kiadható tetszőleges, SQL-92-es ANSI-szabványú Custom SQL. Sőt az implementált szenzációs oszloptömörítésnek köszönhetően feleződött-harmadolódott röptiben a tárigény is, millió rekordok, 100+ MB-os állományok esetében (kellemes mellékhatásként)!

Ez azért már nagyon finomnak hangzik, de máris hallom a kérdést, hogy nem lesz ez lassú?! Egy i5 processzoros Windows8 alatt az említett 100MB+ plusz-os text-ek 30-60 másodperc alatt beolvasódtak Tableau-ba. Az SQL-ben volt minden, mi szemszájnak ingere: outer-join, union, inline view-k, szűrések, and-or-ral kacsolt logikai feltételek, sorfüggvény stb.

Az igazsághoz egyetlen apró negatívum hozzátartozik, és nem lennék igazságos, ha nem említeném meg.

A nagygépes TXT-extractoló olyan "nagytudású", hogy véletlenszerűen sortöréseket helyez el a TXT-extractokba.Sajnos a Text ODBC-driver és/vagy a Tableau csont nélkül (hibaüzenet nélkül) felolvassa ezeket, amikre kiadott custom-sql-ek így persze tudnak "érdekes" outputokkal szolgálni, amik ugye természetüknél fogva, nem is jönnek szembe azonnal és triviális módon.

De még ha fel is készülünk, hogy ezeket az extra sortöréseket létezhetnek, a kiszedésük már nem olyan triviális Mondjuk azért nem is olyan bonyolult "data scientist hacking" kell hozzá, még ha valaki nem is közvetlen barátja a *nix.es például SED-nek. Elég egy egyszerű reguláris kifejezéssel minden NEM mezőhatárolót törölni és csak azokkal a sorokkal foglalkozni, ahol több-kevesebb (pontosabban több VAGY kevesebb) mezőhatároló marad. De még ezen is átlendül(ne) az ember, de azt már nehezen "bocsátja meg", hogy egy szimpla MS-Access képes magától is hibatáblába rakni ezeket a sorokat, külön extra molyolás nélkül is. ;)

Folytatva megkezdett gondolatmenetünket; máris merül fel a következő nagy kérdés:

Adva van egy üzleti felhasználó, aki nem szereti az SQL-eket, különben ugye nem vonzódna annyira a Tableau-hoz, vagy a Tableau-hoz hasonló felhasználóbarát eszközökhöz sem :), és akinek így van egy Tableau-ja (mert mi mása legyen, ugye? Na jó ez csak vicc volt).

Meg van az IT, aki biztosítaná a nagygépes adatpiacos adattömeget, de neki meg nincs Tableau-ja (költségtakarékosság elérte a képzeletbeli cégünket, IT-nek nem jutott sajnos Tableau, az ott dolgozók legnagyobb sajnálatára).

Magyarán aki tudná csinálná a Tableau-etetést, annak eszköze nincs, akinek van Tableau-ja, az meg nem tudja/nem akarja csinálni, például mert van jobb dolga is.

Feloldható-e az ellentmondás?

Ahogy kedvenc főnököm szokta ilyenkor mondani, Tableau esetén, már hogy a viharba ne lehetne feloldani az ellentmondást?! :)

Két dolog kell hozzá:

(1) Tetszőleges ODBC-elérést biztosítani tudó programozási nyelv-környezet. Nem könnyű olyat találni az Assembly-től mondjuk Erlangig terjedő spektrumon, ahol ez nem megoldható. Az internet tele van legkülönfélébb egyébként pársoros sample-code-okkal, ahol a dsn-connection és Custom SQL hatására resultset-et ad vissza.

(2) A fenti demó kódot kell összeintegrálni egy másik rövid demó kóddal, amit viszont már a Tableau-biztosít, API révén. Ennek segítségével az előbb kapott resultsetből felépíthetjük a TDE(=Tableau Data Extract, ez az oszloptömörítéses remek fileformátum) struktúrát is, meg bele is tolhatjuk az adatot.

Ezek után tetszőleges finomságú és mélységű adatpiac adható át az üzleti felhasználónak szíves felhasználásra (adott konkrét kontextusban a létező legoptimálisabb formában, ugye), ahol semmi egyéb (eszköz-)költség nincsen, a fent taglalt egyszeri integrációs feladat költségén felül, mint a magas szintű "absztrakt" rétegben való SQL-programozás és -futtatás/-üzemeltetés.Ha valaki ezzel a kicsi integrációs feladattal sem akar foglalkozni, annak elég lehet csak jó kapcsolatokkal rendelkezni... :)

Természetesen percenként frissülő, 24/7-es, idősoros, petabyte-os adatpiacokra ez nem életképes megoldás, de ilyeneket, ne is akarjon az ember "levegőből" elővarázsolni. Aztán meg különben is esete válogatja, mikor mi a jó megoldás. Lássuk be az adatpiac-építés komoly tudomány és vannak akik ebből (is) élnek.... ;)

PS1: Akinek ennyi varázsszó, hogy ODBC nem lenne elég, annak mesélném, hogy ennél komplexebb a világ. ;) Mind az "SQL-Engine", mind a Tableau oldaláról konfigurálható/finomhangolható/"customizálható" az ODBC-elérés, nem is kicsit.
Itt van, hogy miket illetve, hogy konkréten hogyan lehet állítgatni:
http://msdn.microsoft.com/en-us/library/windows/desktop/ms711681%28v=vs.85%29.aspx

PS2: Természetesen, ha marketinges lennék, azt mondanám, hogy Tableau mindenek elött és venni kell egyet, ha még nincsen, mert élni nélküle lehet, csak teljességgel értelmetlen :)

De a módszer teljesen analóg módon használható még olyan "távoli konkurrens" esetén is, mint az SPSS Clementine. Csak ott nem TDE-be, hanem SAV-ba mentünk, ami persze nem olyan maró hatású, mint amilyennek hallatszik :)

Lehet, hogy a világon tök egyedül vagyok vele, de én adatpiacot kifejezetten nem szeretek Clementine-transzformációkkal építeni (ez akkor elmegy, ha az ember saját magának dolgozik, pláne kisebb projekt esetén, de enterprise környezetben egy szint felett már tud ciki lenni), hanem sokkal inkább SQL-lel. Persze az SPSS Clementine is ad némi SQL-támogatást, de nem annyit amennyit én egészségesnek tartok ;)


Eddigi TABLEAU-blogposztjaim:
2013.06.17 - Data Science: Tableau-feladatok
2013.06.22 - Tableau: Egy vizualizációs stratégia lehetséges szubjektív sarokpontjai
2013-07-05 - Tableau: Mindennapi örömök
2013.07.09 - Tableau: Eset a NEM-létező egzotikus nagygépes adatpiaccal
2013.11.16 - Tableau: Aktuális Pros/Cons egyenleg
2013.11.17 - Tableau: Text Table

Ha valaki egy nemlétező egzotikus nagygépes adatpiacból szeretne vizualizálni Tableau-val :), de még nincs meg neki a szoftver, miközben szeretne engedni a birtoklási csábításnak, az alábbi mail-címen egy kedves, fiatal, aranyos kolléganő igyekszik hatékony és konkrét eszközök segítségével ápolni minden Tableau-vonzatú kapcsolatot.
hello@tableausoftware.hu

2013. július 5., péntek

TOP-10 adatbányász algoritmus


Top 10 algorithms in data mining

A 37.oldalas Springer által is megjelentetett cikk 2007 év végi, azóta lassan hat év is eltelt.
De én sajnos csak most botlottam bele.;)

A TOP-10-et egy 2006-os konferencia határozta meg, és az volt a kiválasztási szempont, hogy mely algoritmusok gyakorolják a legnagyobb hatást a kutató közösségre.

És azonnal dobtam is egy hátast tőle.

A TOP-10 adatbányász algoritmus, a cikk 15 szerzője szerint:
01.C4.5
02.k-Means
03.SVM,
04.Apriori
05.EM
06.PageRank
07.AdaBoost
08.k-NN
09.Naive Bayes
10.CART

* A döntési fa család két algoritmussal is képviselteti magát (C4.5, CART). Számomra új, hogy a C4.5 ekkora fókuszt kapjon, mégha a C3 zseniális megalkotója (Quinlan), a szerzők között is van.

* Logisztikus-regresszió hiányzik, ami egyszerre népszerű, elterjedt, sőt még párhuzamosítható is, mint kiderült. Talán nem véletlen, hogy ez összejött. ;)

* Ahogy én tudom a Logitboost sokkal inkább fókuszban volt/van (versenyeken is), mint az Adaboost. Egyébként is a bagging, boosting, "ensembling" etc.nagyon-nagyon forró topik, szvsz. Ebből kiemelni az Adaboost-ot, történelmi elsősége(?) miatt, hát nem tudom.

* Pagerank szerintem (1) nem klasszikus adatbányász-algoritmus (2) zárt a Google révén (minden részletét illetően). A ranking-prediktálás az igen, de az nem a Pagerank.

* Collaborate filtering teljes hiánya, a Netflix verseny idején. ;)

* Klasszikus neurális hálók teljes mellőzése. Az RBM(=Restricted Boltzmann Machine), kvázi minden versenyen elő szokott kerülni, a leglehetetlenebb(nek látszó) módon is. Talán nem véletlen.;)

* Semi-supervised algoritmus-vonal teljes hiánya is furcsa nekem.

Tableau: Mindennapi örömök


A Tableau-nak ma is sikerült egy óriási örömet szereznie nekem, ráadásul nem is akármilyet, egy igazi real-world projektben.

Hiszen olyan feladat oldható meg egy funkcionalitásával, amire nem készülhettek a Tableau-fejlesztők, mégis a helyes gondolkodás illetve fejlesztési elvek mentén való fejlesztésnek köszönhetően még ez is "kiesik" a rendszerből, ugyanazért a vásárlási árért.... :)

Adva van egy SAP/R3, meg egy általános célú, egy SAP BW-hez képest roppant költséghatékony Windows-os ODBC-driver, első verzióban egyszerűsített SQL-lehetőségekkel, ami remélhetőleg akár már a következő főverzióban, közel full-featured lesz, egy oldalági Antlr-os fejlesztésnek köszönhetően. A mostani verzióban azonban még nincs például SQL-UNION-lehetőség

Adva van tehát egy SAP/R3 tábla (amire rá tud csattanni az előzőleg említett ODBC-driver), ahol repülési útvonalak vannak tárolva, többekközt honnan-hová.

Kellene egy olyan térképes Tableau-vizualizáció, amin az útvonalak szépen megmutathatók, de ehhez sajnos követelmény, hogy a honnan-hová ne rekordon belül legyen tárolva, hanem rekordokban.

Peremfeltétel, hogy hiába nincs UNION, nem lehet Data Science-s előfeldolgozós hackeléseket csinálni, csak Tableau-n belül szabad dolgozni, elegánsan és dokumentáltan előírt kattingatással.

Sebaj Tóbiás, idézhetjük fel a mesét. A Tableauban van egy olyan nagyszerű lehetőség, hogy meglévő adatforrást ki lehet egészíteni vadiúj rekordokkal, file-ból.

Ez a funkció azért jött létre, mert a való életben számtalanszor van olyan, hogy a fő adatok valamilyen adattárházból jönnek, és szeretnénk rágörgetni a legfrissebb adatokat, amik egyelőre még csak Excel-ben vannak. Nem akármilyen figyelmesség, sokkal nagyobb mint, egyáltalán implementálni/leprogramozni. :)

Ezek után mi lehet egy megoldás? SAP/R3-ból lekérdezni Custom-SQL-ekkel külön-külön a "honnan"-t és a "hová"-t, majd az "Add file" funkcióval össze lehet őket mergálni.


Eddigi TABLEAU-blogposztjaim:
2013.06.17 - Data Science: Tableau-feladatok
2013.06.22 - Tableau: Egy vizualizációs stratégia lehetséges szubjektív sarokpontjai
2013-07-05 - Tableau: Mindennapi örömök
2013.07.09 - Tableau: Eset a NEM-létező egzotikus nagygépes adatpiaccal
2013.11.16 - Tableau: Aktuális Pros/Cons egyenleg
2013.11.17 - Tableau: Text Table

Annyi szó volt már róla, és ha valaki véletlenül talán az elérhető legjobb kondiciókkal akar vásárolni forintért hivatalos magyar viszonteladótól Tableaut és/vagy érdekli az SAP/R3 ODBC-driver részletei, akkor ezen a mailcímen szívesen várnak minden érdeklődést:
hello@tableausoftware.hu