[Kedves Lóránd] DUST framework vezetői összefoglaló - diagnózis-rész

.
Kedves Lóránd már két blogposztomban is előkerült. Így sokat nem szaporítanám a szót, itt van két link az előzményekről:
Kedves Lóránd, avagy a prófétaság mibenléte korunkban...
Az "intelligens" Antalffy Tibor

Az utóbbi posztomhoz további/későbbi keltezésű adalékként kapcsolódik egy érdekes dialógus-link, amit Lóránd is kiemelten linkel:
Arrogancia 

A teljeskörűség jegyében Lóránd legfontosabb url-jei:
Hajnalvilág
Hajnavilág-blog

Noha rövid találkozásunk itt a blogon igazándiból sem nem volt jó hangulatú, sem igazán mélyenszántó (és ezt tulajdonképpen bőven ráfoghatjuk az én korlátaimra), ettől még továbbra is nagyon sok mindenben egyetértek vele. Például a korábban is említett DUST-tal is kapcsolatban.

A kövér/bold kiemelések, tőlem származnak, innen is elnézést kérek a szerzőtől, ha ezt nem "sikerrel" tettem. Egyetlen mentségem, hogy ezt a bekezdésenkénti fókuszálást/kiemelést, minden posztomnál alkalmazom.

Álljon itt a 15 oldalas (PDF) magyar nyelvű vezetői összefoglalóból, a bevezetői diagnózis részből néhány bekezdés. Nincs szó rá mennyire szívemből beszél, miközben nekem esélyem sem lett volna ennyire összeszedetten a lényeget megvilágítani.

"...a programozás kreativitása eltűnőben van, a "piac" lényegében azonos feladatok repetitív megoldását kívánja egyre újabb, és a korábbiakkal sosem kompatibilis környezetekben: futtató rendszerek, programozási nyelvek, szolgáltatáskészletek. A hatalmas, és állandóan fejlesztett eszköztárak mélységeinek ismerete egyre nagyobb súllyal esik latba az eredeti programozói képességekkel szemben, ma nem alkotók, hanem betanított informatikai szalagmunkások adják a szakma túlnyomó többségét. Semmi nincs "kész", nem lehet továbblépni azzal, hogy ezt a feladatot megoldottuk, folyamatosan jönnek ki az új hardver eszközök, operációs rendszerek, ügyviteli programok, szórakoztató alkalmazások – nem a valós szükséglet, hanem a várt nyereség szerint.

"Mindez elképzelhetetlen mennyiségű erőforrást szív fel és pazarol el. Tekintetbe véve azt, hogy erőforrásaink végesek, ez egy alapvető problémát jelent, továbbá nem megszünteti, csak vagyoni alapra helyezi és tovább növeli a távolságot az emberek között."

"A jelenség oka az, hogy az informatika világa alapvetően eltér minden általunk megszokott környezettől. Az informatika „alapeleme” az információ: adat, esemény, algoritmus, amely sokkal inkább hasonlít egy gondolatra, mint egy tárgyra. A két legfontosabb különbség: a korlátlan másolhatóság és az akár végtelen élettartam."

"A világunkat ma alapvetően meghatározó üzleti gondolkodás ezt a két tulajdonságot kezelni képtelen, mert minden eszköze erőforrások kinyerésére, termékek folyamatos előállítására épül. Fogalmai között nem szerepel a feladat végleges megoldása, kizárólag az állandó igény folyamatos kielégítése (esetleg új igények „feltárása”, nem ritkán generálása) – amely viszont az informatika alaptörvényeivel ellentétes. Ez pontosan látszik az üzlet és a gondolati értékek „frontvonalán” (a számítástechnikától függetlenül is): szerzői jogok, szabadalmak kérdésében."

"A korai számítástechnika üzleti oldala ezért a hardverrel egységet alkotó programokban és adatokban gondolkodott: hatalmas és igen drága gépek készültek, a programok írása pedig néhány magasan képzett varázsló feladata volt. Mindaddig, amíg nem jött egy ember, aki képes volt üzleti modellt alkotni az erre köztudottan alkalmatlan informatikára, és céget alapított a hardvertől elválasztott számítógépes programok létrehozására: ez volt Bill Gates és a Microsoft (Steve Jobs, az örök „nagy ellenfél” kijelentése szerint)."

"Az üzleti modell lényege, hogy elválasztja az adatokat és programokat az őket kezelni képes hardvertől, ugyanakkor az új verziókkal (operációs rendszer, nyelv, felhasználói programok, szabványos, tehát cserélhető és egyre fejlettebb hardverek) visszahozza az „avulás” fogalmát: „régi program”, „régi gép”, így az informatikai eszköztár „inflálódik”. A befektetett pénz tehát meg fog térülni, az operációs rendszer, a szövegszerkesztő, stb. többé nem egyszeri megoldott feladat, hanem állandóan kifizettethető szolgáltatás, a programozás nem egyetemi kutatás többé, hanem ugyanolyan folyamatosan üzemeltethető gyár, mint amelyik mondjuk cipőket állít elő."

"Ennek köszönhetjük azt, hogy ma otthoni, hétköznapi, a családi költségvetésbe illeszthető eszköz a számítógép, hogy létrejött a világháló, amelynek elérhetősége oly természetes a számunkra. Ezek a tényezők gyökeresen átalakították, és ma még fel sem fogott mértékben megváltoztathatják egész életünket, gondolkodásunkat (bár a folyamat irányítóinak nyilván nem ez lebegett a szeme előtt, hanem hatalmas vagyont szereztek vele)."

"Ennek látható ára az, amit folyamatosan kifizetünk az új számítógépes alkatrészek, operációs rendszerek, felhasználói programok, játékok, ma már táblagépek, telefonok... megvásárlása során. Rejtett költsége pedig mindaz az energia és alapanyag, amely az új gépek hihetetlen tömegének előállításához szükséges. Veszteség az, hogy az elavultnak tekintett gépeinket nem adhatjuk tovább a kevésbé tehetőseknek, fejlődő régióknak (tehát nem csökkenthetik a távolságot közöttünk), mert ők sem tudják mire használni: már nem létezik a 3.1-es Windowszal, betárcsázós modemmel elérhető világ. Az ezt futtatni képes gép már értéktelen, veszélyes hulladékként kezelendő szemét, amelyben lassan összegyűlik a világ egyre szűkebb ritkaföldfém-készlete..."

"A közösség számára hátrányos következményekkel együtt tudnánk élni különösebb korlátok nélkül, viszont az utóbbi költség lehetetlenné teszi a folytatást, váltásra kényszerít minket."

"Teljesen felbolydul a munka világa"

.
Az index.hu publikált a tárgyban egy cikket, elég sötét tónusban. Azt kell mondjam, informatikusként, data scientistként (amire a cikk is fókuszálni próbál), hogy
(1) kötelességemnek érzem - egyébként több oldalról is - "érintettként" végiggondolni a témát
(2) én sem látom derüsen a perspektívát

Mindenek elött egy helyreigazításos kiegészítés tőlem, mert orbitális tévedéseket generálhat:

A WEF-riport legijesztőbb állítása, hogy a munkaerőpiaci trendek alapján a világ 15 legnagyobb gazdaságában 7,1 millió munkahely fog megszűnni a következő 5 évben

Nyilván nagyon nem mindegy, hogy mennyiből szűnik meg 7,1 millió. A világ 15 legnagyobb gazdasága (beleértve ugye Kínát), lefedheti a fél bolygót (3.5 milliárd). Ha a magyar 40%-ot vesszük (10 milliós lakosságból nagyságrendileg 4 millió dolgozik a kimutatások szerint), akkor 1.4 milliárd emberről beszélünk. A körükben 7.1 millió nem tűnik nagynak ;)

Szerencsére ugyanott kis bogarászással megtalálható a kérdésre a válasz:

The new research by the World Economic Forum is the first of its kind, representing more than 13 million employees in nine industry sectors and 15 economies;

Azaz 13 millióból szűnik meg 7+ millió. Mindjárt más a leányzó fekvése no és a keletkező 2 millió munkahely sem tűnik olyan vidámnak.

De a témabeli rossz közérzetnek ez csak ez egyik oldala. A probléma másik oldala a "fejlődés" mikéntje: milyen minőséget képvisel, mifele tart?!

Azt gondolom, minden - cikkben vázolt - "fejlődés" végeredményben és perdöntően a társadalmi különbségek ollójának nagyobb szétnyílását hozza.

A kapitalizmus természetrajza és a gyarló kapzsi ember révén egyre kevesebbeknek lesz még sokkal-sokkal jobb (akkora erőforrás-többlettel lesz többjük, amit felélni sem tudnak olyan nagy) És egyre nagyobb tömegeknek lesz egyre rosszabb.

Nyilván - még Magyarországon is - észlelhetők voltak fejlődésnek tűnő jelek még a tömegek számára is (pl.: nagyképernyős lapos tévék térhódítása és társai a fogyasztásban), de látni kell, szvsz:

(1) "Krém" méretének szűkülése és erőforrás-koncetrációjának növekedési sebessége lényegesen nagyobb.

(2) Magyarországon is jól észrevehető, hogy egyre többet kell dolgozni, egyre rosszabb munkákban, egyre kevesebb(et érő) pénzért, egyre nehezebb, sokszor egyre kilátástalanabb körülmények között.  Még a mi - elitnek mondott - szakmánkban is, nemhogy a rosszabb helyzetben lévő ágazatokban.

Régen 60 éves nyugdíj elött álló ember símán örvendhetett köztiszteletnek, ma már 40-50 évesen lehet jóegészséggel "elfogyni", miközben a nyugdíj-korhatár felkúszott - egyelőre csak - 65 évre.
V-A-G-Y
Régen volt eleje, közepe, vége, levegője egy projektnek. Ma már darabbéres, agilis, ticket-re végzett munka hódít trendin, egyre nagyobb pörgésben, növekedési kényszerben és versenyben, egyre kevesebb tapasztalat-aggregálással, egyre kevesebb - jószívvel sosem csinált - visszamérésekkel. Én azt gondolom ez is költsége a látványos fejlődésnek, amit perdöntően a projektekbe munkát beleadók fizetnek meg.
[Zárójeles, apróbetűs megjegyzés: az agilitás mérsékelte a nagy bukták számát/méretét, viszont általánosságban is érzékelhetően sokat rontott mindenféle minőségi mutatón is cserébe, amit a piaci szereplők konszenzussal elfogadnak egyébként (még a "krém"-ben is).]
V-A-G-Y
A "krém" és "tömeg" csak az informatikában is erősen szétválik. Miközben a legjobbak látványosan tudják hasznosítani az eredményeket, addig a tömeginformatika évi 2.1 billió dollárt elköltve (2013) nem képes fejlődni, vagy legalább a pusztulást megállítani. Ajánlom tanulmányozásra az ELMÜ vagy a TELEKOM informatikáját mint riasztó "állatorvosi lovakat". Az a minimum, hogy nem látszanak az ilyen irdatlan arányú pénzforrás-elhasználások a látható/érzékelhető eredményekben.

A kettes ponthoz az igazán nagy kérdés bolygó szinten, hogy milyen pontig növelhető hatékonyan és fenntarthatóan az emberi kizsákmányolás (tömeges léptékben). Távol álljon tőlem bármiféle jóslás, de azt leszögezném a 100 méteres síkfutás világrekordját lehet ugyan századmásodpercenként javítagatni, de 5 másodperc alá sosem fog menni, ahogy Zénon paradoxonjában is Akhilleusz meg fogja előzni a teknősbékát...;)

A krém erőforrás-koncentrációjának növekedése más aspektusból is félelmetes. Amennyire én tudom, analóg módon ahhoz, hogy az ipari országok 20%-nyi népessége fogyasztja a bolygó teljes energiafogyasztásának 80%-át, ezzel párhuzamosan ez a 20%-nyi népesség képes lenne "eltartani" a teljes bolygó 7+ milliárdos népességét is (GDP-ben számolva mindenképpen, csak ez ugye a létező legrosszabb és leghasználhatatlanabb mutató emberi aspektusból: de ez itt most offtopik).
Forrás: tittytainment, The Global Trap, amiknek nekem is utána kellett kérdezni az indexes peakoil-topikban, ahol berci segített ki nagy zavaromban, mert az elmúlt évek alatt kihullott az agyamból.

Szimplifikálva/extrapolálva: eddig mondjuk 5 ember ellátására elég munkát tudtam elvégezni, viszont a jövőben már esetleg 5+ ember ellátására is elég lehet a leadott munkateljesítményem (bolygó szinten kalkulálva). Vigyázat: ne keverjük ide a magyarországi béreket, mert az vakvágány ebben a kontextusban, számomra legalábbis mindenképpen (én leadott munkateljesítményről beszélek).

Külön bekezdést igényel idevágóan a rendszeresen felmerülő, meg-megvalósuló állampolgári jogon kapható alapjövedelem. Most regnáló kormányzattól kiszivárgó számok számomra rendkívül ijesztőek főleg annak fényében mennyi állami kötelességről és anyagi vonzatáról tervez(het) lemondani az állam, na pláne a bevezetés után, egyoldalúan módosítva.Noha koncepcionlisan védhető lenne az alapjövedelem "műfaja" (szvsz), de én azt gondolom ez nem a közjó növelése érdekében fog történni, még ha tényleg rettemetes ellentmondások és feszültségek feszítik is a jóléti intézményeket (oktatás, egészség, kultúra).

Magyarán - és konklúzióként is elmondhatóan - a bolygónk lerablása (200  millió év alatt képződött fosszolis kincs könnyen kitermelhető részét égettük el a légkörbe - "pillanatok alatt" már most is 400ppm-et generálva 280ppm-ről - bután, rosszul, gyenge hatékonysággal) összemérhető a bolygónk eltartó képességével. Nézzünk szét a világban mire jutottunk. Engem legalábbis nem tölt el derüvel. Én azt látom hogy úgy nő rohamtempóban a ("fejlődéses") "okosság", hogy bölcsességgel egyre kevesebb esélye van párosodnia.

Ezek után a borús bekezdések után már csak egy - messze legborúsabb - bekezdés maradt csak hátra. A "krém" természetrajza. Mit tudunk, látunk róluk:
- Kevesen, nagyon kevesen vannak. Arányaiban alig-alig látszanak a tömegekhez képest és még így is vékonyodik a rétegük (és mellette gazdagodnak tovább).
- Igazán nagy kárt kevés ember tud csak csinálni. A minél nagyobb konszenzus ezt megakadályozza, vagy legrosszabb esetben átélhetővé teszi.
- Bár a "krémet jellemző "okosság"-nak alapjáraton nem kéne jegyben járjon a kapzsisággal, mégis ez az üzenet jön le leginkább (nehéznek látszik cáfolni). Nincs szándék és/vagy nincs tudás a felhalmozott giga-jövedelmek értelmes elköltésére (csak "elfogyasztására")
- A "krém" kicsi, ám veszett gyors, rugalmas, szemben a korlátozó/szabályozó állam rugalmatlanságával, nehézkességével, előretekintési/végiggondolási hiányosságaival, rossz döntés(képtelenség)eivel. Nyilván a krém ki fogja ezt a helyzeti előnyét használni mindig is, a társdalom többségének rovására. Eklatáns példa: 2008-as pénzügyi válság, ahol az államnak semmi esélye nem volt a krém "okosság"-ával szemben.
- Modern kor vívmánya a korrupció "state capture"-ré (magyarul állam foglyul ejtése) avanzsálása. Csak Magyarországon is durván letaglózó megfigyeléseket lehet megejteni a témában, ha valaki képes a média-bullshiten túl is nézni.

Egy szerző két könyv

Dave Eggers megteremtette a 21. század felesleges emberét  

Ez bizony minden idők egyik legjobb könyvismertetése(i) az én számomra, nagy-nagy gratuláció érte a szerző(k)nek/bloggazdá(k)nak. Fájdalmas gyönyörűség volt olvasni minden betűjét az egyébként meglehetősen hosszú könyvismertetőknek. Én, aki napi szinten élek ebben évtizedek óta, sem tudtam volna jobban poentírozni a lényeget.

Kommenteltem is volna, meg e poszt linkjét be is szúrtam volna szívesen, csak hát sajnos ezt egyedül fb-accounttal tehettem volna meg ott a blogban, amit ugye nem akartam. ;)

A dolognak külön pikantériáját adja számomra, hogy fura volt szembesülnöm saját vitatható nézetemmel egy másik teljesen reális és releváns szemszögből is.

Ugyanis amikor kérdezik pl.. "hogy vagyok, mi van velem?" sosem szeretek rá válaszolni, mindig kényelmetlenül érzem magamat. Hiszen számomra ez egy tök érdektelen, velem kapcsolatos, "csak" engemet érintő kérdés, miközben én érdekes - értsd jelenlévőket "igazán" érdeklő - minél konkrétebb kérdésekről szeretek beszélgetni, már csak a hatékonyság érdekében is, meg a másik beszélgetőtárs kedvében járva is. Sokszor elvesztegetett időnek érzem ezeket a köröket, nem tűnnek "érdekes"-sé fokozható momentumoknak, miközben meg hangsúlyosan nem szeretek senkit terhelni saját egységsugarú - publikusnak publikus, ám - tök érdektelennek számító dolgaimmal.

És hát bizony látni kell, a mérlegnek mindig két oldala van, mint általában a legtöbb esetben. Miközben a fenti módon is "jól" használjuk ki az időt, belátható módon kegyetlenül égetjük is ki magunkat egyúttal. Az emberi pszichének nem véletlenül lenne szüksége "arányos" pihenésre a nagy pörgetés/pörgés mellett. De ki az a munkáltató vagy lehet venni más hasonló élethelyzetet is, amikor a hatalmas stresszben, növekedési kényszerben, kontrollálatlan - ami a dolog kigyógyíthatatlan veleje - pihenést/lazulást tudna engedni, tömeges(!) léptékben, a költségekben legnagyobb hányadot kitevő bértömeg mögötti élő munkaerőnek? Ez a (vad)kapitalizmusnak mondana ellen alapjaiban, ami "pihenés"-nek létjogosultságát a globalizmus csak még erősebben tudja megkérdőjelezni.

Így aztán az egyén és társadalom szimbiózisban, egyéni ÉS társadalmi minőségben, egymásra kölcsönösen ráerősítve égeti ki önnön magát, a "l'art pour l'art" élvezeteknek egyre kisebb teret hagyva. Extrapolálva: az "élvezet" mint olyan hovatovább már csak a munka, a megfelelés, az alkohol, a drog, a kiüresedett szex egyre nagyobb frusztrációkba torkolló válfajaiba torkollik. Fel lehet tenni a kérdés(eke)t
* Hány százalékban tud a társadalom értelmesen - emberi psziché számára komfortosabban - "lassítani"?! 
* Illetve ezzel párhuzamosan: hogyan romlanak (megfigyelhetően) az idevágó tendenciák?!
* Ami még fájóbb, ki fizeti/finanszírozza meg ennek össztársadalmi költségeit, egyes aspektusaiban, mindkét oldalról?!

És akkor következzék pár mellbevágóbb részlet a könyvismertetőből:

A regényidő 2010, a több évtizedes jólét vége, az ipar visszaesése, az önbizalom elvesztése, az amerikai cég helyett amerikai szabadalommal megbízást szerző kínai üveggyárak kora, a Nyugat-Európához való csatlakozás ideje.
„Lakásban tartott macskák nemzete lettünk (…) Kételkedők, aggodalmaskodók, túlkombinálók nemzete.” (19. o.)

A regény megjelenését követően egy volt Facebook-dolgozó, Kate Losse azzal vádolta Eggerst, hogy történetével The Boy Kings című memoárját plagizálta. Bár a címszereplő nagyvállalat tényleg mutat némi hasonlóságot a Facebookkal (a regénybeli ValóÉn például a FB-profil továbbfejlesztett változata, melyben a felhasználók közösségi profiljaitól a pénzkezelési platformjain át a levelezésükig minden egy felületre összpontosul)

...a regény végére már 8 különböző monitoron intézi a rábízott feladatokat.

„Emberek, a második felvilágosodás küszöbén állunk. És most nem a kampusz új épületéről beszélek. Hanem egy olyan korszakról, amelyben nem hagyjuk, hogy az emberi gondolat, tett, tudás és teljesítmény java része, akár egy lyukas vödörből, kifolyjon a kezünk közül. Egyszer már volt ilyen. A középkorban. A sötét középkorban. Ha nincsenek a szerzetesek, odaveszett volna minden, amit a világ valaha megtanult. Nos, ma is hasonló időket élünk, hiszen jórészt odavész, amit teszünk, látunk, tanulunk. De ennek nem kell így lennie.” (44-45. o.)
Blogposzt írói megjegyzés: az agilis módszertannak egyik legnagyobb bűne ez az én olvasatomban. Nem képesek kummulálódni, aggregálódni, letisztulni a tapasztalatok. Ezáltal kiüresedik, robotizálódik a munka, az ismételt hibaelkövetés (debugolási iterációs ciklusokkal) szimpla, egységáron bekalkulált elemi tétel a költségvetésben. Nincs konzekvenciája a hibának, ám nincs dicséret sem - szellemi értelemben vett - pluszért, hiszen gyökeres eliminációja okán nincs is plusz (csak nyers, materiális értelemben vett, ticket-szintű, túlóra minöségű plusz)

Lehet, hogy A Kör Orwell és a túlzott digitalizációval szemben végtelenül szkeptikus DFW legrosszabb rémálma, de a Szilícium-völgy néhány vezérének maga a digitális utópia. Elég csak a sokat bírált Amazon-főnökre, Jeff Bezosra, vagy az Intermex nevű pénzügyi cégre gondolni, ami egy olyan telefonos applikáció letöltését várta el dolgozóitól, amivel a nap huszonnégy órájában tájékozódhat hollétükről. Eggerst stílusát nevezték már a DFW-i hang letisztultabb, könnyebben követhető változatának, hipnek és nagyon mainak

„Nem kell olyan szolgáltatás, aminek megfigyelés az ára. Ha ez így megy tovább, két társadalom lesz – legalábbis remélem, hogy lesz kettő –, az egyik az, aminek a megteremtésében segédkezel, a másik egy alternatív társadalom. Te meg a hozzád hasonlók önként és dalolva állandó megfigyelés alatt éltek majd, folyvást figyelitek, kommentáljátok egymást, szavaztok, tetszést és nemtetszést nyilvánítotok, mosolyogtok éshomlokot ráncoltok, és egyébként nemigen csináltok semmit.” (233. o.)

Mi mind feleslegesek vagyunk. Bár Alan Clay és Mae Holland különböző generációk (sőt, különböző világok) szülöttjei, a globalizáció és az elvirtualizálódó jelen mindkettőjükre ugyanolyan hatással van. Engedelmesen belesimulnak az őket körülvevő céges környezetbe: Clay, akinek már neve is formálhatóságról, alkalmazkodóképességről árulkodik (clay, vagyis agyag – a szerk.) utolsó esélyként, kényszerből, saját mellőzhetőségével tisztában léve, Holland gyanútlanul, világjobbító szándéktól vezérelve.

Eggersnek éles és pontos rálátása van a 21. századi életre, és bárminek hangot mer adni. Jelene lélekromboló, jövővíziója fájdalmasan valószerű. Hangja szemtelen, ironikus és realista, épp, mint egy jól megválasztott zsűritagé valamelyik tévés tehetségkutatóban. A Hologram a királynak és A Kör zárójelenetéből pedig az is kiviláglik, hogy az abszurddal sem csak annyi a kapcsolata, hogy Beckett-től kölcsönzött mottót az egyik könyvéhez. 

Nap vicce: Master Data Management-Magic Quadrant (2015 November)

Annak fényében, hogy az MDM még sanyarúbb helyzetben van, mint az ETL, az pedig az álmoskönyvek szerint sem bíztat sok jóval. ;)

Magic Quadrant for Master Data Management of Customer Data Solutions

Magic Quadrant for Master Data Management of Product Data Solutions

Data Science továbbtanulási irányként

Ártatlan kérdésnek indult, komoly méretű levelezést indukált, végül blogposzt lett.
De nem itt a blogon.
Ezt is sikerült megélnem.
:)

Data Science továbbtanulási irányként
Facebook-link

ETL és az "agilityssment"

.
Disclaimer: Érzékenyebb lelkületű olvasók MOST hagyják abba az olvasást, mert igen őszintén, erősen kijelentő módban, nem teljeskörű bizonyítással, minden finomkodástól mentesen, keresetlen szavakkal fogok írni kínzó fájdalmakról, ön- és ügyfélbecsapásokról. Ahogy azokat én éltem meg az elmúlt 15+ évben.

Számomra érzékelhetően 2000-ben látható volt egyik legelső/legnagyobb magyar adattárház-implementációnál (fura érzés az 'ott voltam' tudata), hogy rossz irányt vesz az ETL-ipar. Gyakorlatilag egyedül maradtam az összes rossz érzésemmel. Körülöttem lévők mondhatni mindegyike feltartózhatatlanul ezerrel rohant a messiási csoda reményében a végzetbe.

Szívesen mondanám, hogy tévedtem (aki ismer az tudja, hogy komolyan így gondolom/hiszem), de úgy érzem az élet engem igazolt, így visszatekintve erre a 15+ évre (sokra megyek vele). Nyilván vannak/lesznek, akiknek lesz idevágó ellenvetésük.

Mit lehetett érzékelni 2000-ben, OWB(=Oracle Warehouse Builder) v2.1 korában?

- Óriási léptékben túlzó  és teszem hozzá kevéssé megalapozott üzleti elvárásokat.
- Koncepcionálisan elhibázott irányvonalat (hardver erőforrások nem becsülése, gigantikus overhead, minden határon túl, szemrongálóan elburjánzó nyilakat visual streameken, csillogás túlhajtása a használhatóság rovására, etc.)
- Végtelenségig túlárazott, aranyárban nyújtott kevéske és gyatra termék-szolgáltatást, akárcsak a heterogenitást nézve is.
- Minden kódgenerálás után kézzel kellett javítani az egyébként hányadék generált kódon.
- És a legszörnyűbb adalék: az Oracle Corp. végtelenül ocsmány eljárása (félkésznek sem mondható, nimbuszrombolóan iszonyú bugos drága cuccot adtak drága pénzen ügyfeleiknek, amit a support révén befolyt bevételekből szándékoztak/terveztek bugmentesíteni).
Szóval a piaci szereplők mindegyike hozzáadta a maga "kis" részét a végső soron totális kudarchoz.

Az elmúlt 15+ évben, annyi túlárazott, gigantikus overheadet generáló iparági hulladékkal volt dolgom, hogy több életre is sok belőle: OWB, ODI, Goldengate, BODI, BODS, SSIS, IBM DataStage, Informatica, SAS ETL-Studio, Talend Enterprise.  Ami a gyanutlan felületes személőnek olybá tűnhetett, hogy teljességgel reménytelen a korrekt ETL-ezés. Persze a szoftvergyártók megtollasodtak, hiszen égető kereslet volt a jó eszközök irányába.

Agilis módszertan villámgyors és brutális térnyerése aztán szépen rámutatott a felhalmozódó fájó problémákra, majd a saját módszertani hiányosságaival ráerősítve elhozta a mélypontot.

Az én olvasatomban az látszott:
- Az ETL-ezés szakmai alapproblémáit nem oldották meg
- Helyette generáltak sok más egyéb addig nem létező problémát
- Amikre rossz válaszokat/üzeneteket adtak jellemzően. 
- Drága és/vagy karbantarthatatlan és/vagy üzemeltethetetlen szutykok jelentek meg folyamatosan a végeredmény oldalon.
- Nem győzöm ismételni, hogy aranyárban (hwsw-beszerzés, support, konzultáció, fejlesztés üzemeltetés összességében).
- Menekülési útként, sokszor egy "ingyen" tákolt helyi custom-kódolt rendszer célraorientáltabb és megbízhatóbb volt, ami az informatika örök gigantikus szégyenbélyege marad.
- Ami "menekülés út" sokszor vett irányt az MS-Access felé, ami a non-plus ultrája a szégyennek, gyásznak.
Prominens, Kanadát megjárt, banki IT-vezető céges irányvonalat akart építeni  MS-Access-re, adattárház-építés címén. Konkréten a szemem előtt játszódtak a történések. Céges összefogással tudták csak erről az eltökélt szándékáról lebeszélni.

Persze a 15+ év második felében már jöttek negatív felhangok is az ETL-ipar szörnyű elmaradott állapotáról, De vígaszt ez nem nagyon jelentett értelemszerűen, amikor az ember látta elfolyni a pénzmilliók tömegét értelmetlenül.

Ahogy az sem jelentett már sok hozzáadott értéket, hogy az OWB-t egyre többen szerették, mert egyre jobb eszközzé kupálódott ki (szerintem egyébként nem). Nem validálhatta a korábbi kudarcokat, vendori rosszindulatot.

Szóval nálam nagyobb ellensége az ETL látható választott útjának nem igen akadt a rossz koncepcióknak és gyalázatos implementációknak köszönhetően.

„Érdekes” módon a VirtDB-koncepció engem azonnal kilóra megvett (és azóta is tart a markában, látszólagosan kicsi piaci súlya ellenére is: hiszen az érdem és piac nem mindig jár kéz a kézben, pláne nem az ETL-kontextusában, elfogultságmentesen beláthatóan, ugyibár).

Nyilván a VirtDB-nek is megvannak a maga problémái (nagy adatdemokratizálódás útján a hozzáférés-etika és jogosultságkezelés terén például), de látnivaló milyen fénysebességgel körözi le az ETL-ipart, hogy már csak ilyen problémákon kell agyalni, technikai téren szinte minden adott a legoptimálisabban, azáltal, hogy a legrövidebbre szabja az adatutat a forrástól a célig.

Na pláne főleg slack-kel, wunderlisttel, logentries-zel és hasonló szörnyen használt cuccokkal súlyosbított „agilityssment” korában [most kreáltam a szót, 'harrassment' mentén (is). Nincs még rá Google-találat :)], amikor már az  „agilis nap” is túl durva felbontás és percről percre kell fejlesztő embereknek, párhuzamosan jelentkező – nyilván sokszor antagonisztikus - igényeket kiszolgálniuk, egy durva túlélési folyamat keretében.

Leáldoz-e akkor a napja az ETL-nek?

A magam részéről tuti nem mernék jóslásokba bocsátkozni.

Egyfelöl
* érzek egy akkora iparági tehetetlenségi erőt (mint annó az Oracle RDBMS nyomasztó túlsúlyakor), hogy jó darabig még ignorálhatatlan lesz az ETL-ezősdi (rosszul) megszokott eddigi útja.
* Analógia: ha van gátlástalanul parasztvakító szoftverterméktípus amit világ életemben rühelltem, az a "query-builder", ami nagyot álmodni tudó embereknél, hivatott volt/lett volna az SQL-t „kiváltani”. A talán leggyászosabb „állatorvosi lova” az Oracle Discovererben valósult meg. Per a mai napig virágzik a technológia, minden égbekiáltó „bűne” ellenére is.
* Ezt a fentebb kritizált, sok helyen látható, eszköz-determinált ETL-módit túl sokan használják rosszul, túl sok pénzt beleölve. Sem kidobására, sem jobbra cserélésére nem látszik kellően erős, nagy tömegű alternatíva és/vagy jólirányzott motiváció.

Másfelöl viszont az open source világnak (Talend, Kettle) nagyban köszönhetően talán megmenthető valami az ETL-ezés becsületéből még az „agilityssment” korában is. Akkor is, ha hihetetlen mértékben bugos például egy Talend, vagy például (Talend) Enterprise verzióban szintén durván túlárazott ócskaság. Kettle-ről sajnos nincsenek behatóbb, mélyebb tapasztalataim (sajnos elkerült engem): amit láttam belőle az tetszett, de pudingról nem lehet véleményt mondani pusztán csak a látvány alapján.

* A VirtDB eleganciáját, egyszerűségét, hatékonyságát ugyan esélye nincs elérni,
* A Talenddel bejárt 100 különböző útból várhatóan kb. 98 rossz (lesz) az én értékelésemben, érzékelésemben, mivel nagyon könnyű vele is, továbbra is eltévedni.

DE

* Jó architektúrával (pl.: lambda architektúra megfelelő alkalmazása)
* Jó architecttel (én jó ÉS főállású, architecttel még nem bírtam találkozni életem során, külön-külön azért lehet teljesíteni a feltételeket)
* Jó ETL-fejlesztőkkel (ilyen azért bőven akad)

* Jó elvek mentén (pl.: a nodehasználat és kódolás arányának megfelelő kikeverése).

* Jó szellemi/vezetői hozzáállással (pl.: ami nem merül ki a (túl)hajtásban, és hajlandó folyamatosan(!) egy napnál messzebbre is előrenézni)

NEM ESÉLYTELEN - ügyfélként nézve, még számomra is elfogadható -, azaz
* Maximálisan ügyfélcentrikus (szakmailag megalapozott ügyféligények maximális kielégítésével)
* Üzleti logika méretével és komplexitásával, erőforrás-igényt tekintve, lehetőség szerint, felülről minél jobban közelítve a lineáris skálázódódást
* Jó ETL-ezést implementálni,
* Akár „agilityssment”-tel is súlyosbítva, ha ez kikerülhetetlen,
* Hangsúlyozom kizárólag az említett open source alapokon (hiszen a commercial része az iparágnak minden becsületét eljátszotta, olvasatomban, úgy hogy az önkritikus szembenézés is elmaradt).

Talend Studiónak is rengeteg problémája van:
* nagyon bugos,
* külön lélektana van a benne való hibakeresésnek, -megkerülésnek (és egyáltalán nem az előnyősebbik végéről)
* nem normális a 10.000-es nagyságrendű jar-tömeg, akár 4 GB-on is elterülve (azt gondolom: lenne ott mit optimalizálni, illetve lehetséges magyarázat a bugtengerre)

De koncepcionálisan annyi kört ver a létező commercial eszközökre, hogy egy ennyire szomorú hangvételű blogposztban megérdemli a maximálisan pozitív kiemelést.

PS: Nálam, analógiában, a Talend Studió az ETL-ezés PlSql Developere (ami PlSql Developer kicsi, ergonomikus, tán még butának is mondható eszköz egy TOAD-hoz képest), de ár-érték arányban verhetetlen, többek közt, mert érzékelhetően szívvel-lélekkel ügyfélorientáltan fejlesztették, az évek hosszú sora alatt a használhatóság irányába. Például azáltal is,hogy sokkal kevesebb okádék sql/plsql-kód esik ki belőle, mint a nagy testvér TOAD-ból. Miközben a nagy TOAD a Dell égisze alatt vegetál.

Prekopcsák Zoltán [RapidMiner] trollkodása

Előljáróban, a tények kedvéért rögzítem: 
Prekopcsák Zolit 2007 óta ismerem a BME-ről. Gáspár(-Papanek) Csaba révén ismertük meg egymást több más kollégájával párhuzamosan. Azóta perdöntően szakmai konferenciákon futottunk össze. Fennálló jónak mondható kapcsolatunkat jelezhette például az is, hogy együtt ebédeltünk (konferencia-ebédszünetben), jóízűt beszélgetve (máig emlékszem rá).

SAS?

Fenti előzmények után derült égből villámcsapásként ért, hogy a fentebb linkelt blogposztom kommentrészlegében kvázi rámtörte az ajtót, szakmában általam nem igazán látott (és nem elfogadható) stílusban. Ha valaki elolvassa a teljes kommentfolyamot, észreveheti, hogy cca. kétszerannyi idősként én - értelmezésemben igazságtalanul, és otromba módon - megtámadottként, még én próbáltam úriemberként Zoli hevességét csillapítani. Az egészet el is felejtettem volna, ha hónapokal később, nem tanulva, észlelve semmit bírálható magatartásából, ugyanott folytatta, ahol abbahagyta: környezete sem tudott ráhatni.

Mi volt a linkelt rövid posztom negatív kontextusú üzenete? 2015-ben miért kell SAS-t tanítani,
* drága oktatói erőforrásokat erre pazarolva,
* SAS-nak több okból eredeztethető marginalitása okán
* itthon Magyarországon kevéssé hasznosítható várható eredményekért,
* árukapcsolás részeként (több más fontos topikkal együtt)?

Ami a linkelt blogposzt kommentfolyamában történt Prekopácsok Zoliék részéről, az értelmezésemben szintiszta offtopik trollkodás.

- Kötözködés a visual flow kapcsán, ami aztán csendben kimúlt a reagálásom nyomán.
- Terelés az R-rel.
- Irányomba való, minősítgető személyeskedés, minden tárgyszerűségtől, indoklástól mentesen ("ámokfutásom", "konstruktivitás nélkülözése" és társai)
- Kognitív disszonanciából eredő(?) további terelés. Mert van magyarországi SAS álláshirdetés, ezért már kéne SAS-t tanítani ilyen vesézett fókusszal?
- További érveléstechnikailag védhetetlen terelés: mi köze a SAS-nak tantervbe emeléséhez (annak vitatásához), hogy egyébként alulfizetett oktatók tanítják és világszinvonalon? Én is mondtam, hogy a tanterv SAS része is jó, a SAS-komplementeren felül is. A blogposzt által felvetett probléma ismétlem az volt, hogy miért kell SAS-t így pusholni. Lásd még értelmező olvasás! ;)
- Awk-kal való felesleges szúrkálódás.
- Tiszteletlenséggel való vádaskodás.
- Majd ezek után konklúzióként, a szakmai, stilisztikai, világnézeti közös talapzatról "letaszításom".

Az én konklúzióm a fentiek tükrében:
- Prekopácsok Zoli maga írta meg, hogy "kevés nála érdekeltebb ember van a SAS bukásában az országban".
- Nem érkezett egyetlen elemezhető, kontextusban maradó, diskurzust képezni tudó pozitív érv sem miért kéne SAS-t tanítani, a kommentfolyam hosszúsága ellenére sem.

- Minden offtopik ellenérv-kezdeményt, tévedést igyekeztem cáfolni, ami aztán elhalt (értelmezésemben nem miattam).

- Személyem konkrét megtámadása, teszem hozzá magas lóról. Csak tudnám mi predesztinálja erre Zolit?!
- Próbáltam a félresiklott kommunikációt helyrehozni, sehogysem jártam sikerrel (azt gondolom nem miattam, hanem Zoli akart mindenképpen, mindenáron ütni rajtam, amit még így is elviseltem volna, ha nincs folytatás több hónappal később).

Számomra ezek - pláne ismétlés okán - kimerítik a trollkodás fogalmát. Annyira hogy muszáj volt ezt a blogposztot szentelnem neki.


[Data Science] Top5 leginkább (érdemtelenül) túlárazott szoftver

Prekopcsák Zoltán, úgy is mint 2014 augusztus óta "VP Big Data, RapidMiner, Developing and executing the Big Data strategy of RapidMiner and managing the Hungarian subsidiary", a fenti blogposztom kommentrészlegét végiggtrollkodta a RapidMiner kapcsán.

Zoli ingerültsége, ha nem is védhető, pláne prezentált formájában, RapidMiner/Radoop-érintettként magyarázható. És ha már egy ilyen nagy ember vette a fáradságot, hogy beszóljon itt a végeken egy magyar blogosnak, gondoltam én is szánok egy posztot a tisztánlátás érdekében "sok bába közt ne vesszen el a gyerek" jeligével, mielött elkezdenénk könnyeket hullatni a RapidMinerért, az én "rosszindulatú", "hiányos" blogtevékenységem okán.


Előzmény:
- RapidMiner v5.3-ig open-source, community-edition-nel bíró verzió volt, aminek korrekten volt supportos commercial alternatívája. Ebben a minőségében komoly tekintélyig jutott teljesen megérdemelten. Aztán 2013 novembere környékén a v6.0-val egy értelmezésemben (1) elhibázott, (2) durva, (3) érintett szakmai közönség részére rendkívül káros történés történt.
(1) A v6.0-nak megszűnt a community edition-je (v5.3-é megmaradt)
(2) Született egy értelmezésemben értelmetlen és használhatatlan 1GB-os memórialimitítű "starter", ami freeként lett alternatívája a community edition-nek.
(3) A RapidMiner Studió (és hol vagyunk még a Servertől) négy fizetős verziójából kettő annyira durva lett, hogy ki sem merték írni. "Ask" lett.
(4) A két megjelölt árú kiadás beárazása "cserébe" nagyon durva lett, főleg a v5.3->v6.0 előrelépés minőségének arányában.
(5) Volt egy http://rapidminer.com/pricing/ link, ahol az árak megtekinthetők voltak

A linkelt posztomban fel "mertem" tenni azt a kérdést hogy mi van ha olyan progresszív a hiányzó árszabás,  hogy be sem merték vállalni? Miközben korábban megjegyeztem, hogy "félreértés ne essék lehetnek egyedi árajánlatok, egyedi hozzáadott értékekkel, megegyezésekkel, de azt vélelmezem "dobozos" terméknél elvárható valamiféle listaár. Annyira nem rocket science az árképzés, hogy ezt minden határon túl meg kéne úszni".


Jelen állás:
Ha a költségtranszparenciás problémám, igényem nem érthető, mondok más analóg példát, ugyanarról a "nyugat"-ról, ahonnan a RapidMiner érkezik. Álláshirdetések fizetésmegjelőlései. Ami itthon  álom, az kint valóság: szakmánkban pontosan lehet tudni fizetési referenciákat, kategóriákat, intervallumokat. Ez ugyanúgy nem azt jelenti, hogy nem lehetnek ettől eltérő egyedi megállapodások a dolgozók és cégeik között, skillek, hasznosság etc. mentén.

A korábbi "pricing" link az alábbi beszédes linkre dobja ma már az érkezőt: https://rapidminer.com/pricing-quotes/. Itt szó nincs konkrét formában "Rapidiner szerverről", mint azt Zoli oly hosszasan próbálta volna a RapidMinere védelmében felhozni,

"Get your tailor-made predictive analytics platform. Complete this form - we will be happy to find the best option for you."

Megjegyzés: Az Alteryxtől, Daton-n át, nagy konkurrens Knime, IBM SPSS meg SAS-ig mindenki tud serverárakat is közölni, csak a RapidMinernek okoz ez megoldhatatlan  nehézségeket. A blog olvasóira bízom annak eldöntését, hogy ezek a Zoli által felhozott "nehézségek" mennyiben indokoltak, mi a helyesebb hozzáállás a RapidMiner esetében.

Mivel 2013 novembere óta az volt érzékelhető (számomra mindenképpen), hogy a RapidMiner vérében van - egy új és nehezen védhető trendi jegyében - az árakról való, más termékeknél jelenleg perdöntően nem jellemző titkolózás, nekem ennyiből az jött le, hogy a maradék publikus, egy klikkre elérhető, nyilvános árak is eltüntek.

Zoli, említett trollkodásában, azt "elfelejtette" megemlíteni, amikor adott egy "hónapok óta létező" linket az új árakról (amiből eltünt az említett két "Ask"), hogy hány hónapról is beszélünk. Az én screenshotom 2015 május-júniusa körül készült. Azaz a screenshoot 18+ hónapot valid volt (v6.0 kezdete óta).

Zoli újkeletű információi a linkelt blogposztom óta, összegezve:
- v6-nál ismét van open source (github-on).
- Megszűnt a kárhoztatott 1GB memórialimit is evvel.
- Megszűnt a két "Ask" a RapidMiner Studio árazásánál.
- "Sikerült" a RapidMinernek a honlapján értelmezésemben ritka pocsék módon, ügyetlenül, félrevezetően, hiányosan tálalni. Én értem, hogy Zoli minderről könnyedén tudhat, az említett poziciójánál fogva, de a plebsnek, ahová én tartozom, hadd legyen már meg a tévedés joga a pontos helyzetről, a "rosszindulat" vádja nélkül.

Azaz az üzenet: a RapidMiner "hiányosságai" ne már az én blogolási tevékenységem nyakába legyenek varrva.Nyilván teret adok, meg örülök minden új információnak, de azt a felháborító hangot és módszert, amit Zoli képviselt trollkodásában, azt visszautasítom.

Rendkívüli módon sérelmezem Zolinál, hogy első hozzászólásának első konkrétumos fele teljesen hamis képet fest (amit egy külön hosszú blogposztban kell rendbetenni), második felében minden konkrétum és előbbiek miatt minden alap nélkül nélkül minősítget engem és tevékenységemet illetve a továbbiakban vádol engem, hogy utálom őt. Ennyire Zoli sem nagy ember, hogy ezt megtehesse (értelmezésemben).

Szó nincs róla, hogy utálnám Zolit, csak rámutatok trollkodására. Zolival szemben én embert magát sosem támadok, csak és kizárólag tevékenységet.

Hirtelenjében nem is tudom mi a jobb: ha Zoli ezt szándékosan, avagy szándék nélkül: értelmező olvasás képességének hiányában teszi.

Vegyük észre a fentiekből, hogy az általam kárhoztott RapidMiner dolgok mindegyike

(1) hosszú ideig létezett, amit Zolinak illett volna elismernie egy korrekt diskurzus esetén.

(2) pont azokban a dolgokban történt változás, amit én kifogásoltam a linkelt blogposztomban, Azaz valid volt a blogposztomban a RapidMiner "szégyenpadra" ültetése (egyébként csak 5-dikként. Jegyezzük meg ezen a ponton: ez a termék kiválóságáról, rosszasságáról egy szót sem mond, csak és kizárólag a Rapidminer vezetők attiüdjéről, hozzáállásáról jelez bármit is). Nyilván eljutott a Rapidminer vezetők fülébe, hogy az általam kifogásoltak nem voltak túl jó ötletek és/vagy az értékesítés sem hozta az elvárt szintet és léptek (szvsz).

(3) Ezek az örvendetes változások azonban nem teszi meg nem történtté a RapidMiner korábbi v6-ot övező súlyos félrelépését.

Zoli! Kérve-kérlek, tartsd meg ígéretedet, és ilyen attitüdöddel, viselkedéseddel tartsd magad távol ettől a blogtól.