Magamról

Saját fotó
Főiskolai, majd egyetemi diplomamunkáimtól kezdve világ életemben, adatok, adatbázisok, adattárházak (leginkább Oracle) környékén mozogtam. Mostanság adattárházasként, adatbányászként élem napjaimat.

2014. szeptember 14., vasárnap

Legjobb "ODBC-s" generikus SQL Tool (Windows-ra)

.
Én erre az eszközre esküszöm: SqlDbx

Értékelésem:
+ Van free personal edition belőle (igaz erősen butított)
+ Egyetlen pici 2+ MB-os exe (C-ben írva), azaz maximálisan portable alapból.
+ Létezik x86 és x64-re egyaránt
+ Leggyorsabb, legnatívabb adatelérés és adatmegjelenítés
+ Letisztult puritán felület, "mindent a gyorsaságért" jegyében.
+ A legspécibb Cassandrát, Hive-ot, egzotikumokat támogatja
+ Amire nincs ODBC, az kávzi nem is létezik. :)
+ A drága pl.: DataDirectes eszközöket is jól támogatja.
+ Scriptelhető, parancssorból vezérelhető
+ Excel és egyéb exportok
+ Visual Diff
+ SQL-formatter
+ ResultGrid kereshető
+ Intelligens Editor
+ Tökéletes script-generálások
+ A másik szimpi tool (Advanced Query Tool) azért vesztett evvel az SqlDbx-szel szemben, mert (sokkal) lassabb volt.

- A fizetős licence: 300 USD (commercial kategóriában nem kibírhatatlan)
- Egy dolgot nem tud ODBC2JDBC gateway-t

Greenplum-client for Windows

.
Falak omlanak le, mítoszok dőlnek meg, paradigmaváltás szemtanui lehetünk. :)

Régen "kikezdhetetlen" igazság volt, hogy valós enterprise környezetbe Oracle kell, aminek meg is lett az eredménye, hogy az RDBMS-tortából az Oracle mindig is valami hihetetlen nagy szeletet volt képes kihasítani.

2001-ben:
Oracle: 46%
IBM: 23.6%
Microsoft:: 6.7%

2008-ban, Gartner mérés szerint (több is lehetett, ezért nem 100% az összeg):
Oracle Database: 70%
Microsoft SQL Server: 68%
MySQL (Oracle Corporation): 50%
IBM DB2: 39%
IBM Informix: 18%
SAP Sybase Adaptive Server Enterprise: 15%
SAP Sybase IQ: 14%
Teradata: 11%



2014-ben:
"13% run Hadoop, either in pilot (8%) or production (5%). An additional 21% are considering"

Ami korábban elképzelhetetlen volt (számomra legalábbis): egy amerikai multi cég komplett iparága most akarja áttenni háromféle(!), 10+(!) ERP-jének analitikus platformját (100%-ban vegytiszta Oracle-ről) egyrészt olcsó tömegtárolású Apache Hadoop-ra, másrészt kritikus tárolású adatait Greenplumra. Egy Hawq-ra még nem "értek meg", de ez is csak idő kérdése. :). Mindezt a költségoptimalizálás jegyében..

És, ha mindez még nem lenne elég, akkor a következő még nagyobb "mélyütés" a témában:
- Ugyanez a cég úgy tervezi kidobni meglévő Informatica folyamatait, hogy még csak nem is egy Talendet helyez fókuszba (ami mára enterprise verzióban nagyon drága lett, ha jól tudom kb. negyede egy Informaticának, ami azért nem semmi)
- Hanem egyenesen vissza akar térni a régi SQL-es vagy a modern trendi open source SQOOP-ra. Ezt a nagy-nagy örömhírt (számomra visszaigazolást) napok óta sikertelenül próbálom megemészteni. Én világéletemben nagy ellensége voltam ugyanis az indokolatlanul brutáldárga ETL-GUI-knak, azóta, hogy Oracle Warehouse Builder 2.1-gyel beléptem ebbe a világba (is). (Azon az alapon, hogy én szakmai alapon vitatom, hogy elvileg lehetséges lenne jó eszközt fejleszteni, nemhogy gyakorlatilag).

Nagyon drukkolok, hogy az ilyen dolgokból trend legyen. ;)

Na de vissza a blogposzt címében felvetett problémához. Szokásos "játék", új rdbms-nél, mi a legjobb eszköz című versenyben.:) A kérdés azért merül fel, mert a Greenplum egy PostgreSQL-származék, elvben kell szeressen egy free open source PgAdmin-t, de a helyzet az, hogy eleve warninggal indul csak el, de az igazán nagy baj vele, hogy fagyogat, miközben éterbe küldi a benne lévő SQL-eket (Greenplum v4.2-nél).

És sikerült rátalálni egy nagyon jó eszközre, egy élmény vele dolgozni.

Értékelésem:
+ Free Community Edition(licence file-lal aktiválandó)
+ x86 + x64 platformokra is létezik.
+ Greenplum-specifikus
+ DBA+SQL-fejlesztés támogatása
+ Natív adatelérés
+ Nem JAVA-s a GUI, hanem ez is natív C/C++-os(?), hálistennek.
+ Nagyon szép, gyors és egészséges használni.
+ Baromi gyors.
- gmail-es cím nem elég a hozzájutáshoz, kell egy valódi munkahelyi.
- nem minden script-generálás megy jól (de javíthatók).

Ami toolokat én találtam még:
- Aqua Data Studio (fizetős)
- EMS (fizetős)
- Navicat (fizetős)
- RazorSQL (fizetős, jdbc-s)
 -SqlWorkbenchJ (free, jdbc-s, egyszerűbb SQL-re jó, stabilitási "kihívásai" vannak neki)






2014. szeptember 3., szerda

Oracle Reports RDF-file migrálása

.
Az alábbiakban egy gyors, rövid, habkönnyű morgolódás fog következni, aminek tárgya vélhetőleg és szerencsére kevés BI-ban mozgó embert érint, viszont annál bosszantóbb.

Létezik az Oracle Corporation termék-portfóliójában egy cucc: Forms and Reports.

Jellemzők:
- tejútrendszer-méretű ipari hulladék maga a szoftver, éremesélyesként indul a "világ legrosszabb szoftvere" versenyben. Úgy volt elképesztően drága, hogy architektúrálisan, használhatóságilag teljesen félretervezett volt (szvsz).
- Oracle saját fejlesztése volt, nem akvirálta (nem néztem utána, csak így emlékszem), az OWB-hez hasonlóan egyébként, az is nevezetes saját fejlesztés volt, ott is nagyon komoly visszás történésekkel.
- Ehibázott mivolta ellenére rengetegen használták, és ami külön érdekes Magyarországon is.
- Nagyon nem mindegy az RDF verziószáma (nem átjárhatók).

Feladat: 
Oracle Riports-os RDF file-t migráljunk valamely "korszerű" - jah pardon rossz szót használtam, mondjuk úgy inkább, hogy aktuálisan fejlesztett ;) - BI-eszközbe.

RDF file jellemzői
- Bináris hulladék, de érdekes módon a közepén van olvasható, ezáltal kimásolható SQL
- Sokféle (pl.: szerializált) RDF file van (Google-ben önmagában nem érdemes keresni tehát). A mi esetünkben egy spéci Oracle Riports Definition File-ról beszélünk.
- Van benne SQL, kliens/szerver-oldali PlSql, prezentációs réteg infói.

RDF-migrálás alternatívái:

(1) További tool igénybevétele nélkül, egyszerűbb SQL-es  (értsd egyébként helyes elv alapján perdöntően szerver-oldali SQL-re támaszkodó üzleti logikájú) riportok RDF alapján is migrálható, amennyiben van screenshot, meg egy Excel-kimenet, reprezentatív adatmintával.

(2) Ha valaki precízen akar hozzáférni az RDF-hez, akkor innentől kettéágazik az út.Oracle-felé akarja venni a migrációs utat, avagy más frissebb, jobb, használhatóbb alternatívák felé (pl.: Tableau)

(2a) Az Oracle út minden finomkodás nélkül bátran minősíthető botrányosnak.

Egyfelöl az Oracle BI Enterprise (talán a Siebeltől vették meg) már megvásárlásakor, egy ultradrága, barátságtalan, nehezen adminsiztrálható, gigantikus overhead-es, elavult eszköz volt. Ezt választani korszerű BI-platformnak monumentális pénzkidobás, fékezett habzású élménnyel. (szvsz).

Másfelöl botrányos azért, mert az elterjedt Oracle Reports RDF támogatását gyalázatosan oldották meg. Noha egy egyszerű feladatról lenne szó, egy bitre ismert internal file-t kiexportálni valami olvasható formátumra.

- Oracle BI Publisher gyári prezi alapján például 11g-be meg sem írták a konverziót.

- Rengeteg terméknév/verzió van közkézen, ember legyen a talpán, aki követni tudja miből, mikor mi lett a nagy akviziciók utáni termékintegrálás után.Melyiknek milyen install-követelményei / előfeltételei, meg lehetőségei vannak. Noha - ismétlem - csak egy egyszerű RDF-file infóihoz szeretnénk hozzáférni.

- Oracle BI Publisher tehát kiesik, 11g alapból, 10g azért, mert nem installható korszerű Win7/Win8 alá korrekten.

 - Oracle BI Enterprise 11g-vel azért nem érdemes kísérletezni, mert alapból 3-4 GB az installkit, de kell neki Fusion Middleware, meg Bealogic Webserver maga alá. E nélkül el sem indul az install.

- Vannak olyan verziók, amik megkövetelik a szerver-oprendszert

- Ami megy mondjuk Win XP alatt, de hivatalosan nem támogatta még a Win7-et például, az jellemzően nem is megy Win7 alatt: már az install sem.

Összefoglalva, lehet küzdeni, meg jó sok munkaórát beleölni az RDF-migrálásba, csak kérdés érdemes-e. Az én véleményem az, hogy a legegyszerűbb és legolcsóbb megoldás, úgy tekinteni az RDF-re, mint ha nem Oracle-eredetű lenne, lásd (2b)-t, XML-t kell belőle csinálni és aztán intenzíven elfelejteni az egész Oracle BI-vonalat.

(2b) Amennyiben nem Oracle a migrálási célplatform, akkor a legegyszerübb megoldás XP-s virtuális gép, 10-es 11-es Oracle Dev Suite install (complete-t, amiben benne van a Forms and Reports), ezek még baráti méretű 1 GB-os install anyagok, ráadásul gond nélkül felmennek. Aztán rwconverter-rel vagy Reports IDE-ből lementeni a szükséges infókat, aztán lehet koncentrálni a jövőbeli BI-fejlesztésekre.
Két hasznos link:
RDF-to-BI Publisher Conversion Utility (2012-01)
Steps to convert RDF into BI (2012-05)

Szoktuk mondani beszállítóként, hogy "az ügyfél minden elött". Egy Oracle megavendor képes volt minden szakmailag és emberileg elvárható minimum-követelménnyel szembemenve kiszolgáltatni (1)hűséges, (2) sok pénzt fizetű (3) nagyméretű ügyfélbázisát ilyen léptékben, a nagy akviziciók és integrációk nyomán.
Lássuk be: nem kicsit szomorú.

2014. augusztus 25., hétfő

Gyorsjegyzet az Alteryx-ről (ETL+Prediktív analitika)

.
* Nicsak!
Kihívója lett az IBM SPSS Modeler-nek. :)
No meg persze immáron sok tárgybavágó open source cuccnak. ;)
Egy újabb (adatbányászatban kellemes, hatékony, jó támogatású, szemben az ETL-lel, ahol szerintem közel nem ennyire egészséges már, a stream-méretek miatt) visual stream-es eszköz.
Kb. 700MB-ban előadva.

És az mind semmi, úgy pénzes (meg töredékárú) a termék, hogy mintha időben visszautaztunk volna egy "kissé". És ami (szerintem nem kívánatosan) trendszerűen megjelenik mindkettőben: GUI-s felületen ETL + Adatbányászat. (Én ugyanis két külön "szakmának" tartom az ETL-t illetve az adatbányászatot, még ha indokolt is köztük iteráció, például adatgazdagítás célzattal is.

*  A BI.hu-n is csak egy Gartneres Magic Quadrantban szerepel eddig, ráadásul abban szerintem eléggé vitatható módon. A viziónárius tengelyen jóval előrébb sorolva, mint megérdemelné szvsz, viszont a kiforrottsági tengelyen meg hátrébb van sorolva, ami tekintve a platform érettségét, nyitottságát, hatékonyságát legalábbbis fura, főleg hogy még egy RapidMinerhez képest is ekkora a távolság.

* Kezdjük az árral, főleg, hogy "követi" valamennyire az egyébként számára is fontos Tableau-t. 4.000 USD (desktop, 1 user), a Tableau 1.600-2.000 USD-jéhez képest nem lenne sok, még mondanám is, hogy nagyon megéri, főleg az IBM-es 25.000 USD-hez képest. A ciki csak az, hogy ezt évenként kell kicsengetni, és így már rögtön más a leányzó fekvése. De legalább publikus az ár, lehet vele tervezni, szemben az IBM erősen vitatható árképzési gyakorlatával.

* Miért az időutazás feeling (időben visszafele)? Hát mert C/C++ban íródott, nem Javá-ban, vagy legalább Pythonban, mint a Tableau is, bővíteni is így lehet elsősorban.

* Mi jogos a viziónáriusságban? Hát az önkiszolgáló BI (amúgy általam mindig vitatott) erőteljes támogatása, Cloud-technológiák támogatásával is megspékelve. Én értem, hogy egyre okosabbak az analitikusok, egyre inkább nagyobb szabadságot akar a világ a kezükbe adni, egyfajta demokratizálódás jegyében is (mindenki egyformán gyorsan jusson a neki kellő adathoz). Egyre komplexebb infókra van szükség, egyre rövidebb idő alatt.
De ha közben szétesik a vállalati adatmodell, ha ugyanarról az üzleti fogalomról nem egyforma, sőt akár nagyságrendi tévedést is hordozó számok keringenek, akkor logikusan merül fel a kérdés az emberben, hogy hová a nagy kapkodás?

* Érdemes megnézni a technikai specifikációt.  Kellemes benne az
- SPSS/SAS fileformátumok támogatása
- Térinformatika támogatása
- SQLite-tól teradatáig való támogatás, modernkori egzotikumokkal, vadhajtásokkal együtt.
- Külön kiemelném a Pivotal Greenplum-ot, amint a jövő nagy ígéretét.
- Integrált API-k (pl.: Google Analytics)
- Ami leginkább szembetűnik a Data Blending és Cloud feltétlen támogatása

* Érdemes nézegetni a jól megírt prezentációkat.

* Érdemes a folyamatosan bővülő gallériát is nézegetni.

* Hihetetlenül erős a GUI-s felhasználói interface a szoftverben. Végre nem kell egérkilométereket tenni, ha adatot akarunk látni, sőt az egér korrekten használható, szemben az AWT rettenetes örökségét hordozó IBM SPSS Modelerrel.




* Öröm látni a terjedő ZIP-es, XML-es internal file-formátumot.

* Poén volt érzékelni a prediktív analitikának olyan túlhajtását, mint "predictive grouping/csoportosítás". :DDDD Ugye a prediktálás az klasszikusan az osztályozás egy speciális fajtája, míg a csoportosítás egy tök más dolog. Noha én egyébként (szakmával nem igazán egyetérve) nem érzem oly távol egymástól a két "technológiát". Lásd hozzá például a Semi Supervise Learninget, ahol,csak nagyon kevés cimke szokott lenni, nagyon sok csoportosítatlan adathoz.

* Érdemes a 14 napos demót letölteni, kipróbálni (ebben is követi az IBM SPSS-Modellert, trial-módban azt is eddig lehet csak használni teljesértékűen).

* Mindenképpen érdemes szólni a napjainkban már kötelező R-integrációról, no meg a szívünknek oly kedves Tableau-hoz való símulást. :)

* A több, mint 200 node, így csoportosul.


2014. augusztus 18., hétfő

Milyen napjaink menő adattárházas szakembere?

.
Na evvel a blogposzttal tuti biztos kivágom a biztositékot.
De egy életem, egy halálom én bizony megírom, mit gondolok a témáról aktuálisan. :)
Természetesen az alábbiak nemzetközi környezetre  vonatkoznak. A magyar piaccal annak nagyságrendje és speciális visszásságai miatt nem kívánnék foglalkozni (most sem).

A téma (nálam) rögtön kettéágazik
- menedzserre
- fejlesztőre

A menedzserről kevesebbet szeretnék most beszélni.
Részint triviálisabb, részint emiatt kevésbé izgalmas.


Nálam a követelmények egy jó adattárház-menedzser felé 

- Perfekt angol tudás, nem szimplán "tárgyalóképes", hanem bizalmat keltően jó, használója képes megfelelő árnyaltsággal érvelni, vitatkozni. Amit én megfelelően perfekt angol tudásnak képzelek, ha valaki bármilyen pénzes angol szakmábavágó tanfolyamot, kurzust képes megtartani (úgy, hogy felkérik rá).

- Képes érdemben megszólítani (egy személyben) mind az üzleti területet (akik biztosítják általában a projekthez a budgetet), és persze mind a szakmai területet is. Az üzleti terület megszólítása külön nagy kihívás, hiszen az adattárház-építés a legelső és legnagyobb falat a vállalati üzleti intelligencia megalapozásában, ami a legtöbb pénzt szokta vinni, legkevésbé látványos és közvetlenül használható eredmények nélkül.

- Van fedezet a mondandója mögött, azaz le tud vezényelni sikeresen egy adattárház-építési projektet.

Én hosszú ~30 éves pályámon, 2, azaz kettő ilyen emberrel találkoztam csak (és sajnos én nem tartozom közéjük). Természetesen nem mondok neveket. ;)


Nálam (én fogalmaim szerint) a következő követelményeknek kell megfelelnie egy jó adattárházas szakembernek:

- A legminimálisabban értenie kell angol szakszövegeket (minél kevesebb szótározással), és minimálisan chatelnie kell tudnia angolul.

- Tetszőleges SQL, tárolt eljárások (4GL) olvasása, írása. Nálam ez második helyen van. ;) Megfordítva: nem tudok elképzelni jó adattárházast, jó SQL-tudás nélkül.Sőt én igazándiból ezt üzleti emberektől is szeretem megkövetelni az egzakt kommunikáció jegyében (más jó alternatíva hiányában). Az olvasás egyre inkább tért követel egyébként magának, hiszen ma már éppen annyit kell hegeszteni meglévő adattárházakat, mint újat építeni, ha nem éppen egyenesen jóval többet.

- Bármilyen SQL-t 90% ban egy napon belül meg kell tudnia írnia. Kb. 10% maradhat csak az igazán durva, napon túlnyúló SQL-eknek.

- Mainstream RDBMS-ektől nem szabad "megijednie", de jó, ha az egzotikumok irányába is nyitott (Hive, NoSql, XML etc). Szerethet különféle adatbázisokat elérő toolokat, de a fontosabbakat jó, ha már párszor aktívan használta.

- Tetszik nem tetszik, a világ abba az irányba halad (szvsz), hogy valaki ne egy valamihez értsen nagyon jól (bár van ma is akinek ez kell és meg is fizeti), hanem mielőbb, minél kisebb overheaddel be tudjon kapcsolódni, minél több típusú projektbe. Azaz nem OWB, ODI, Datastage van/számít, hanem GUI-s ETL-workbench ;) Ráadásul, ahogy én érzékelem, örvendetes módon már hódítanak az open source cuccok.

- Komoly reverse engine képességek birtoklása, gyakran tapasztalható hányadék (módon megírt és/vagy formázott) SQL-ekre is, vagy például tetszőleges riportoló eszközben adatforráshoz jutás. Sőt Data Lineage visszakövetése riportból forrásrendszerig. Sőt! Ennek vége, hogy valaki üzleti logikát is fel tudjon deríteni, aluldokumentáltság esetén is.

- ETL-jobot kell tudni módosítani, írni ugyanabban a "stílusban", ahogy a projektben szokás (verziókövetéssel, csoportmunkatámogatással), QA-ra PROD-ra menedzseléssel.

- Meg kell tudja mondani szabványos eszközök használatával, hogy maradt-e ki valamilyen futásra előírt töltés. (Adathiány, adatminőségi problémák felderítésének támogatása)

- Ismételhető futás felismerése tetszőleges ETL-job esetén (pl.: inkrementálissal szemben). Ennek vége, hogy a konzisztens jó állapothoz való teendők azonosításra kerülnek.

- Adatreplikálás minél több módjának ismerete.

- Operációs rendszer ügyben én csak egyet állítanék/követelnék: unix/linux esetén vi/vim-mel tudjon valaki file-t szerkeszteni, ne valamiféle Windowsos workarounddal.

- A durván Custom ETL-es követelményekkel szemben én megengedőbb vagyok. Ugyanis nem szeretem őket támogatni. Mindenféle további munkák erőforrásigényét, sikerességét exponenciálisan rongálják. Ezért is maradt ez a szempont a legvégére. ;)

2014. augusztus 12., kedd

ORA-29275: partial multibyte character

.
Feladat: 
Adott két Oracle-instance (egy ERP és egy analitikus célú adatpiac) közte Informatica ETL tölti az adatokat. Az ETL session-logja tartalmazza a címbeli hibaüzenetet. 

Egyéb infók:
- Sehol semmilyen jogosultság nincs, csak és kizárólag select jog az adatbázisokban.
- Brutális méretű view adatait kell átemelnie az ETL-nek,  45 millió rekord 162 nagyrészt karakteres oszlop.
- Csak varchar2 oszlop van, nincs nvarchar2.
- Az ETL 4 óra futás után hal meg (hogy az időviszonyokat lehessen érzékelni) és mivel batch jellegű így sorazonosító értelemszerűen nincsen a hibaelőfordulásnál.

Hol lehet a hiba, milyen kérdések sorjáznak?
(A) ERP DB oldalon. Ki tud segíteni? Kinek kell segíteni? Fejlesztő? DBA? Alkalmazás-oldali vagy DB-oldali a hiba?
(B) Informatica oldalon. Reprodukálható-e a hiba Informaticán kívül is? Ha Informaticán kívül nem reprdoukálható a hiba, akkor Informatica oldalon célszerű keresni? Ha az Informatica a session logjában forrás-oldali hibát ír, akkot tényleg olvasási probléma van, vagy cél-adatbázis írási?

Gyári hibaüzenet:
ORA-29275: partial multibyte character
Cause: The requested read operation could not complete because a partial multibyte character was found at the end of the input.
Action: Ensure that the complete multibyte character is sent from the remote server and retry the operation. Or read the partial multibyte character as RAW.


1.Megoldás-csokor (Oracle felöl)
A Google-kereső rögtön első helyen ezt a találatot hozza.
ORA-29275 Tips

Gyors ellenőrzés a forrás és cél adatbázisokban:
SELECT * FROM v$nls_parameters

Rögtön látszik, hogy forrás-oldalon UTF8, céloldalon: AL32UTF8

Rögtön kézenfekvően látszik, hogy a Google-adta tipp CONVERT-jét érdemes megpróbálni. Persze minél inteligensebb formában a méretek miatt. Sok adat, kicsi SPOOL (1 MB).

- Bulk collect alkalmazása limit-tel (én 10.000-es adagokat használtam). Ez egyszer végignyalja az egész adattömeget, bitről-bitre és úgy firtatja, ahogy kell (convert)

- Természetesen az összes karakteres oszlopra kell ezt nézni, de én a blog miatt ezt egyszerűsítettem egy oszlopra.

DECLARE
  CURSOR cur_tabla IS
  SELECT *
  FROM tabla ;
  TYPE type_tabla IS TABLE OF tabla%ROWTYPE INDEX BY PLS_INTEGER;
  list_tabla type_tabla;
  iLimit INTEGER:=10000;
  iMi INTEGER:=0;
  strTmp VARCHAR2(32767);
BEGIN
  OPEN cur_tabla;
  LOOP
    iMi:=iMi+1;
    DBMS_OUTPUT.PUT_LINE(iMi);

    FETCH cur_tabla
    BULK COLLECT INTO list_tabla
    LIMIT iLimit;

    FOR indx IN 1..list_tabla.COUNT LOOP
      BEGIN
        strTmp:=CONVERT(list_tabla(indx).je_line_description,'UTF8','AL32UTF8');
      EXCEPTION
        WHEN OTHERS THEN
          dbms_output.put_line(list_tabla(indx).row_id);
      END;
    END LOOP;

    EXIT WHEN list_tabla.COUNT < iLimit;
  END LOOP;
  CLOSE cur_tabla;
END;


De a legjobb/legszebb megoldásnak a kollégám megoldását tartom (ugyanis nem igényel tárolt eljárást):

SELECT *
FROM
(
  SELECT
    CASE
      WHEN description != description || '' 
      THEN 'DESCRIPTION'
      WHEN status != status || '' 
      THEN 'STATUS'
      [összes többi varchar oszlop…]
    END col,
    rowid rid
  FROM tabla
)
WHERE col IS NOT NULL;


Megoldás a select dump() használata is. Az is megmutathatja, hogy valami nem fain a karakteres tárolásban. De messze ez a leginkább low-level, legkevésbé elegáns.



2.Megoldás (Informatica felöl) 

Az Informatica természetesen képes röptiben kezelni az UTF-verziókat. Nálunk is ez adta a végső megoldást. ;)

Kocsis Zoltan: Kis karácsony, nagy karácsony

.

Kocsis Zoltan: Kis karácsony, nagy karácsony

Bár eredeti terveim szerint ez a blog három engem érdeklőt témáról szólt volna:
- Adatbányászat, és kapcsolódó szakmai vonatkozások
- Windows-os szerszámkamra
- Zene
De aztán az élet úgy hozta, hogy elsősorban csak az első témában lettek itt írások.
Zenére ott maradt a kottás Youtube-csatornám :)

Viszont a címbeli félórás koncert-videó akkora hatást tett rám, hogy breaking news jelleggel, muszájnak éreztem itt is megemlékezni róla, főleg, hogy sikerült mellé tenni pici hozzáadott értéket (variációs tételek leírása)

A zeneszerzemény és maga a videó újabb példa Kocsis Zoltán karmesterünk (ÁHZ) zsenialitására.

Imádom a műfajt (humoros jelleggel más zeneszerző modorában variálni egy közismert nótát), raktam is ki ilyen videókat a Youtube-csatornámra, de Kocsis Zoltán talán mindenkin túltesz, méretben is, komplexitásban is.
Ochs: 'S kommt ein vogel geflogen - Music Parody/Joke
Pillney: Eskapaden eines Gassenhauers for piano & orchestra
Pillney: Eskapaden eines Gassenhauers for piano four hands

Utóbbi évek egyik legjobb videója, nálam ez a Kocsis-videó, mindenkit buzdítok nézzen bele és/vagy a vége fergeteges hangulatába. Számomra minden másodperce kincs.

Kocsis Zoltán: Egy egészen icipici   karácsony
Változatok egy magyar dalra (45 változat + kóda)

Nemzeti Énekkar, karigazgató: Antal Mátyás
Nemzeti Filharmonikus Zenekar, vezényel: Kocsis Zoltán

MÜPA, 2010 Karácsony

00:46 Kocsis bevezető szövege
01:30 Kocsis Zoltán bemutatja a témát játékzongorán
04:00 Kocsis Viktória (Kocsis Zoltán 6(?) éves lánya) megjelenik a szinpadon
05:51 Kocsis Viktória elénekli szépen a témát adó dalt
01:30 Kocsis Zoltán folytatja a bevezetőjét
11:04 Téma zongorán (zongoraszerűségen)
11:22 Téma énekkaron
11:35 I.Polyphonic organum (fúvósok)
12:23 Középkori vígasságok II.Gagliarda
12:34 III.Napoletana
12:48 IV.Siciliana
12:58 V.Canzona veneziana
13:24 VI.Choral:"Neujahr kommt und froh Weihnachter"
14:04 VII.Román kolinda
14:23 VIII.Szlovák lakodalmas
14:35 IX.Medvetánc
14:49 X.Bolgár rázogatós
15:05 Négy mazurka: XI.Oberek
15:18 XII.Kujawiak
15:33 XIII.Bolharázó
15:45 XIV.Varsovienne
15:58 XV.Katonainduló, avagy mi történik, ha a rezek saját kútfőből harmonizálnak?
17:00 XVI.A megoldás
17:11 Éljen!
17:19 XVII-XX. Eredeti baskir-burját-csecsen-csuvas-hanti-jakut-kalmük-komi-korják-manysi-mari-mordvin-nyenyec-tatár-udmurt épdal
18:03 Ebben a variációban a jeles professzor megmutatja nekünk, hogy a domináns szeptim és az ereszkedő kromatika együtt csodákra képes.
18:37 XXI.Tempo di "Hallgató". (Cigányzene)
19:44 XXII-XXV.Fájdalom orosz módra
20:50 XXVI.Nagyon gyorsan, a legmélyebb kifejezőerővel, óriási szenvedéllyel (Lisztre? Les Preludesre? utalás)
21:58 Erdei képek:XXVII.Tempo di caccia
22:26 XXVIII.Ebéd előtt (német kórus)
23:06 XXIX.A lakoma. Most pedig eszünk!
23:16 XXIX.?? méter hosszú havasi kürt poénokkal:
23:44 Ez nem fog menni (intonálási bizonytalanságokkal
23:55 Hamis, disszonáns témaelővezetés :)
24:20 Elég!
24:33 Poénos férfi (bariton?) énekszóló
25:03 Bécsiesen
25:25 Hangszeres szólók (pikkoló, hegedű) "beszélgetnek" a vonós pizzicatókkal
25:50 XXX-XXXII.Tempo di Valse
27:20 XXXIII.Kontratánc
27:38 XXXIV.Gyors polka
27:49 XXXV.Ugrótánc
28:00 XXXVI.Galopp
28:14 XXXVI.Galopp - tangóharmonikával
28:25 XXXVII.Szerb kóló, nagyon jó!!!!
28:46 XXXVIII.Furiant
29:04 XXXIX.Igazi skót dudazene (3db vonulós skót dudás). Nagyon jó! :)
29:41 XL.Tisztelet a zenetörténet ornitológusainak...természetesen Hitchcocknak is.
31:03 XLI.Comodo di Garmisch-Partenkirchen
32:20 XLII.Adagio tedeschissimo
33:02 XLIII.A nyugdíj (Tisztelet az ünnepelt Snukinak), ismert rezes reminiszcenciákkal
34:37 XLIV.Ferocissimo, kortárs zene feeling
35:40 XLV.Religiosissimo XLV.Der Franziskaner
36:46 XLVI.Meglehetősen lassan, ünnepélyesen, egy kis ansfeldeni tömjénnel
38:10 XLVII. In Black-time. Gigapoén. A zenekar átalakul jazz banddé. ;) (beletapsol a közönség is)
39:19 Finale di Csürdöngölő. Tempo di famoso Alessandro Járóka. Monumentális, gigantikus finálé, mindenki aki él, az zenél. Még csőharang is van. Nem semmi meló lehetett a partitúrát megírni hozzá.
41:45 Taps, tomboló siker.

2014. augusztus 3., vasárnap

Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta bt.) módra IV.

 .
 v2014-08-03, vasárnap délután volt az utolsó módosítás a blogposztban.

Informatikus-adatbányászként nem egy árajánlatot készítettem, illetve vettem részt készítésükben, így aztán mindig érdekesnek tartom, ha szembesülök, hogy más szakmák (képviselői) ezt hogyan csinálják. És így kézenfekvően nyílik lehetőség, hogy az ember végiggondolhassa a témával kapcsolatos generális/standard illetve specifikus aspektusokat is.

Egy konkrét - velem megesett - horrorsztori kapcsán annyi információ gyűlt össze, hogy muszáj volt négy részre szétvágni az eredetileg egy blogposztnak szánt írásomat.

Téma felbontása:

Az első részben az árajánlatkészítési folyamatot általában - esettől függetlenül - járnám körül.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra I.

A második részben magát az árajánlatot általánosságban - esettől függetlenül - járnám körül.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra II.

A harmadik részben a konkrét sztorit írnám le, ami velem esett meg
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra III.

A negyedik részben pedig az eset kapcsán világrajött konkrét árajánlatot elemezném.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra IV.

Felpörögtek az események, 2014.07.21 hétfőre. :)

Blogposztom hatására(?) jött valami árajánlatféleség, gyakorlatilag egy információs hulladék. Noha kifejezetten kértem az InterPorta bt. tulajdonosát többször is, hogy kíméljen meg az árajánlatától, mivel nem teljesítés miatt elálltam tőle, csak rámerőszakolta, sajátos "ügyfél-centrikusság" jegyében, abban bízván, hogy így eleget tett kötelezettségeinek.

Mint a továbbiakból látható az árajánlat egy komolytalan sablon kitöltése szakhalandzsával körített számokkal, speciális korlátozásokkal. Azaz erősen túlárazott valami, ami nyilván csak akkor érheti meg bármely ügyfélnek, ha és egyáltalán, ha megrendeli valaki az InterPortától a munkát. De hát ilyen előzmények után ki az a balek, aki képes lenne többszázezret rájuk pazarolni?





Nézzük akkor részleteiben elemezve az árajánlatot, ha már beesett! Hátha hozzá tudom segíteni Mesterházy-Nagy Zsolt urat komolyabb(an vehető) árajánlatok írására a továbbiakban. :)

- Terazzo vagy terrazzo? Kifejezetten rühellem a nyelvtan-náculást, de azért fizetős árajánlat megrendelési tárgyát lehet, hogy helyesen kéne írni. A Google szerint két r-rel kell írni. Persze tévedhet a Google is, és Mesterházy-Nagy Zsoltnak is lehet igaza (ebben az egy kérdésben), csak én ezt jelen állás szerint kevéssé valószínűsítem.

- Mit is hozott az elektronikus posta? Négy oldalnyi sablonba számok behelyettesítését, amit egy Excel pillanat alatt kidob, fizetett reklámokkal körbevéve. Fel nem fogom mit lehet rajta szöszölni 3 órán át és főleg közel 20.000-et kérni érte. Az árajánlat a legminimálisabb minimum szintjét sem éri el, fehér ember két forintot nem adna érte, ha tudná előre mit kap cserébe érte. Ez a blogposzt szeretne hozzájárulni (az árajánlat topik körbejárásán túl), hogy a neten mostantól legyen információ potenciális ügyfeleknek, ne legyenek annyira kiszolgáltatva, mint én voltam.

- Csak a végösszeg az egyedüli érdemi - más árajánlattal összevethető - információ.

- Hiányzik:
+ fényképek
+ felmérési információk (indoklással, indokoltsággal)
+ megrendelői megterhelések részletezése(lakáskulcs, szomszédok, lakásbajárás stb.)
+ egyedi testreszabás
+ referencia
+ tételesség: anyag, hibák, stb
+ van-e nehezítő, drágító körülmény az én konkrét esetemben?
+ korrekt árgarancia

- Az árajánlat nem az én döntésemet segítette, egy jottányit sem kerültem közelebb a téma megítélésében, hanem csak egy célnak felelt meg, hogy a készítő minél biztosabb pénzhez jusson, projektmegvalósulás kockázata nélkül (nem akarjaq a vállalkozó megcsinálni)

- Ami izgalmasabb, hogy miközben közel 1 hónapig készítgette az árajánlat-sablon kitöltését Mesterházy-Nagy Zsolt, addig nekem is 1 hónapom van csak a megrendelésre (különben ugye ugrik az árajánlatért kifizettt horrorösszeg). És ez alatt az egy hónap alatt - "Az ajánlatban szereplő munkák elvégzéséhez szükséges engedélyek és hozzájárulások beszerzése - egyéb megállapodás hiányában - a Megrendelő feladata" jegyében - az engedélyeket is be kéne szereznem. Ismerve a magyar bürokráciát, ez a "mission impossible" kategóriája. ;) Értjük most már a Mesterházy-Nagy Zsolt féle árajánlat-biznisz lényegét? Tuti jövedelem! Írjunk egy teljesíthetetlen, lehetetlen feltételekkel, korlátokkal körbebástyázott, valószínűsíthetően sosem létrejövő projektre árajánlatot és vegyük fel érte előre a lóvét. Az egészből csak akkor esik be nyilván lóvé ha a balek ügyfél fizet az ilyen árajánlatokért, semmikor máskor nem.

- Külön szép teljesítmény a fentiek tükrében, a fenyegetőzés, hogy az - egyébként általam kifejezetten nem kért - árajánlat a bt. szellemi tulajdonát képezi, nem lehet másolni, felhasználni, ellenkező esetben "következményekkel járhat"

- Mesterházy-Nagy Zsolt alaposan keveri a fogalmakat a 7.kiegészítésben is, amikor "jelen szerződésről" beszél egy szimpla jóvánemhagyott árajánlat keretében.

- Az árajánlat érdekessége, hogy nagyságrendileg ugyanannyi a felújítás és a komplett csere, úgy hogy a felújítás csak korlátozottan végezhető el, színazonosság nem biztosíthatósága mellett. Magyarán az árajánlat fele (értelmezésemben azonnal kuka). Már csak ezen alapon is kérem vissza az árajánlatért kifizetett összeg minimum felét. :) Tisztességes mesterember, ilyenkor nemhogy pénzt kér, de felhívja a figyelmet, hogy ilyet véletlenül se akarjon a megrendelő.

- A bónusz az álszent duma a végén. "Reméljük, ajánlatunk megfelel elképzeléseinek, és számíthatunk megrendelésére." Ezen már csak röhögni tud az ember, meg melegebb éghajlaton elképzelni az árajánlatot készítőt. ;) Jah! Miután már az árajánlatot sem kértem többszöri jelzésre, majd akkor biztosan meg fogom rendelni a munkát.

- Ingyen árajánlatként elmegy, pénzt kérni ezért az árajánlatért bűn!

Úgy istenigazándiból kiváncsi lennék mi a véleménye a műköves szakmának, hogy ilyen lelkiiismeretlen kontárok dolgoznak benne, mint Mesterházy-Nagy Zsolt.

Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta bt.) módra III.

 .
 v2014-08-03, vasárnap délután volt az utolsó módosítás a blogposztban.

Informatikus-adatbányászként nem egy árajánlatot készítettem, illetve vettem részt készítésükben, így aztán mindig érdekesnek tartom, ha szembesülök, hogy más szakmák (képviselői) ezt hogyan csinálják. És így kézenfekvően nyílik lehetőség, hogy az ember végiggondolhassa a témával kapcsolatos generális/standard illetve specifikus aspektusokat is.

Egy konkrét - velem megesett - horrorsztori kapcsán annyi információ gyűlt össze, hogy muszáj volt négy részre szétvágni az eredetileg egy blogposztnak szánt írásomat.

Téma felbontása:

Az első részben az árajánlatkészítési folyamatot általában - esettől függetlenül - járnám körül.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra I.

A második részben magát az árajánlatot általánosságban - esettől függetlenül - járnám körül.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra II.

A harmadik részben a konkrét sztorit írnám le, ami velem esett meg
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra III.

A negyedik részben pedig az eset kapcsán világrajött konkrét árajánlatot elemezném.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra IV.


Az alábbi horrorsztori szerint meglehet műkövesnek kellett volna mennem. ;) Ez az a szakma, amire nem hat semmiféle válság, de nemcsak hogy nem hat semmiféle válság, hanem (legalábbis van olyan szakmabeli, akinél) óradíjban lehet készíteni árajánlatot, amit előre kell fizetni ("fő a bizalom jeligére"), azaz végsősoron akármennyit el lehet kérni lépésenként, majd persze hetekig / hónapokig(?) lehet kotlani az árajánlatkészítésen, sőt per a mai napig semmit sem szállítani (szemben az ígért néhány napon belül e-mailben elküldött árajánlattal). Na de haladjunk sorban!

Adva van egy cég (jól gondolja meg mindenki, aki fel akarja őket kérni bármilyen tevékenységre):
InterPorta
Mesterházy-Nagy Zsolt
06-23-580-580, 06-30-914-7131
2071 Páty, Gyártelep u.9.
info@interporta
www.interporta.hu

A honlap szerint a cég az ABC minden betűjére egyenként is több tevékenységet vállal. Én terrazzó-burkolat-javítás, -felújítás, -csere ügyében kerültem kapcsolatba a fenti céggel. Egy 115+ éves műemlék-jellegű társasházban lakok, ahol az évek során lelkiismeretlen mesteremberek barbár munkavégzése miatt a szép terrazzó folyósóink erős romlásnak indultak.

Terrazzó burkolat címén, valami ilyesmit kell elképzelni, ami a linken látszik, azt leszámítva, hogy nem apró csempeszerű kövekből van az én folyósom, hanem "egybe-nagy" burkolatként.

2014.06.20 írtam egy szívhez szóló levelet a fent nevezett cégnek, Mesterházy-Nagy Zsoltnak, mint kiderült, minden adatot pontosan leírtam, fényképeket csatoltam a hibákról meg az egész folyósóról, méreteket ismegadtam természetesen, magyarán egy laikusnak elegendő árajánlat ennyiből is símán megtehető, helyszíni szemlézés nélkül is (kis túlzással, meg jóindulattal), nem látszik indokoltnak óradíjas árajánlat készítése.
Főleg annak tükrében, hogy ez az egész burkolás egységáras szolgáltatás.

A válasz két napon belül jött :) Nyilván itt még csipkedte magát Mesterházy-Nagy Zsolt, hiszen lóvét még nem fizettem ki.;)

Panaszkodott a képek nem elegendő információtartalmára (nyilván pénzes helyszíni szemlében volt érdekelve, ugye),  Mondot pár általános, semmit nem jelentő információt (űrtöltőnek), kérdezett (ezzel semmi baj), majd közölte feltételeit:
- Tanácsadásra, helyszíni felmérésre, és a javítási igények, illetve lehetőségek alapján "esetre" szabott, részletes ajánlat készítésére 3.000,-Ft+Áfa óradíj ellenében tudunk vállalkozni.A felmérési idő magába foglalja az oda, és visszaút, a felmérés, szükség esetén a személyes egyeztetés, valamint az ajánlatkészítés idejét.
- Az elkészített ajánlatot néhány napon belül, e-mailban küldjük meg. Amennyiben megrendelik a munka elvégzését, a felmérési és ajánlatkészítési díj előre kifizetettnek tekintendő.
- Az elkészült ajánlat alapján megrendelt munka elvégzését követően, a végszámlából levonjuk az ajánlatkészítési díjat, így ez tehát nem jelent plusz költséget.
- Az ajánlatkészítési díjat a személyes egyeztetés során - számla ellenében, készpénzben - kérjük kiegyenlíteni.
Ebből, ami maradéktalanul teljesült az az előre kifizetés volt (no meg a korábbiakban elemzett árukapcsolás, és az általam kifizetett helyszínre kiutazás, hiszen a pénzt kp-ban át kellett venni, ugye). ;)

Időpont egyeztetés után kijött "felmérés" címén a "mester" (Mesterházy-Nagy Zsolt). Rákérdezésem után (mivel tartozom), azonnal kiderült, hogy a Pátyi utazása 6.000-be fog nekem fájni, anélkül hogy bármit tett volna ;) (Függetlenül attól, hogy Pesten volt dolga és ezért alkalmazkodtam hozzá időpontban).
Persze lehetett volna kötekedni előzetesen, hogy minek jön ki, nekem első körben elég lehet a távolról megadható egységáras információ is, de bizalommal és empátiával viseltettem. Mit foglalkoztam én olyan dolgokkal, hogy a Pátyi út költségét előre illett volna jelezni felém.

Esetemben az árajánlatkészítés díja 19.050 forintban lett megszabva (2014-06-27-én). Amit számla ellenében kifizettem. Csomó gyanus jel volt (pl.: láttam a fickón, hogy méreget, vajon mennyit lehet belőlem kiszedni), de úgy voltam vele, tévedhetek is, meg egy életem, egy halálom, most már megnézem mi lesz ebből. Nem is csalatkoztam, a sztori közel sem ért véget. ;)

By the way joggal merül fel a kérdés, hogy miért fizettem (ilyen sokat), egyáltalán miért bonyolódtam bele a látnivalóan zavaros ügyletbe? Egyrészt tényleg nem sajnáltam volna a pénzt egy korrekt árajánlatra, garasoskodni amúgy sem szoktam lényegi kérdésekben, másrészt tényleg meg akartam csináltatni a folyósomat, egyeztettem is róla a közös képviselőmmel, a szomszédokkal,.
Mivel a dolog természetéből fakadóan kevés műkövest ismerek, szó szerint véve a leírtakat a szolgáltató még lehet úgy balf*sz, hogy egyébként korrekt és hozzáértő (esetemben aztán kiderült, hogy ellenkezőleg történt: számító csaló volt).
Én nem a kákán akartam csomót keresni, hanem problémát akartam megoldani.
Az egyetlen nekem felróható hiba (szvsz) a bizalom megadása,  a saját kínosan felügyelt korrektségem kivetítése volt. Ezért viszont anyagilag is hajlandó voltam/vagyok áldozatot hozni.
Van még egy komoly aspektus: avval, hogy beleegyeztem, hogy kijön, avval implicite elfogadtam a feltételeit. Ha nem fizetek, akkor betű szerint véve én lettem volna inkorrekt, hiszen a rámeső részt nem teljesítettem volna.
Nekem ennyit nem ér 19.050 Ft inkorrektségnek csak a látszatára sem. Szemben ugye Mesterházy-Nagy Zsolttal ugye... ;)

By the way, mellékszálként, képzeljünk el egy 150-175 kilós, iszonyú kövér, kvázi mozgásképtelen embert, aki alig áll meg a lábán, bottal a kezében is (folyosói) korlátra támaszkodik, akiről nem kicsit nehéz elképzelni, hogy egy vödröt is képes arrébb tenni munkavégzése során, reá nézve az átlagemberben rögtön, azonnal kiváltódik (több-kevesebb) empátia. "De hát ne ítélkezzünk előre", meg "ki küldene haza egy rozzant öregembert", jelszó nevében menjünk a következő stációra!
(Az remélem minden olvasónak lejött, hogy egy ilyen bekezdésnek semmi keresnivalója nem lenne normál körülmények között itt a blogon, de ez a megjelenés az árajánlat-csalás szerves részét képezte, azaz sajnos abszolút ontopik)

Gondoltam - a vállalt ígéretekkel összhangban - pár napon belül megkapom az árajánlatot. Öreg hiba volt feltételezni. ;) Ehelyett hetekig tömény kuss. Gondoltam, akkor már rácsörgetek a jóemberre, hogy akkor most mi van.
- "Ó hát nekem más dolgom is van nem csak ez, különben is szabadságon van az embere, még hiányzik egy-két adat, majd a jövő hét végefele térjünk vissza rá".

Na a pofátlanság ekkora csimborasszója volt a pillanat, amikor ledobtam a bicikliláncot, a szimpla klasszikus csalásos történetben. Mivel közben találtam egy korrekt céget, így teljesen szükségtelenné vált, hogy ettől a jóembertől várjak árajánlatot az idők végtelenségéig, amit akár jövőre is szállíthat, mert ideje van bőven, hiszen a pénzt előre megkapta.

Mikor jeleztem, hogy nem tartok szolgálataira igényt, viszont örülnék, ha visszafizetné a pénzt, amiért semmi érdemit, értékelhetőt nem tett, természetesen  nem volt hajlandó a "szakember". Hiszen, ami jár az jár, ugye. ;)"Jogosan" számítva arra, hogy ilyen kis tételnél egyetlen rendőrség, vagy bíróság ingerküszöbét nem éri el, max. több éves átfutással, lehetőségek függvényében.
Mindez már persze benne volt a pakliban, de úgy voltam vele, hogy játsszuk ki. ;) Nekem megérte ez a "magyarországi korrektségi viszonyok tanulmány" ezt a kérdéses 19.050 Ft-ot. Mesterházy-Nagy Zsolt úrnak is gondolom megérte. ;)

És végül, hogy mennyire helytelenek a prekoncepciók (ezt mondjuk szégyellem is egy kicsit informatikusként, mert bár fontos a tapasztalat és előregondolkodás, de mindig a konkrétumokban kell gondolkodni, ha már vannak). Ugyanis eredetileg, eredendően azt gondoltam, ez a műkövesség elég speciális szakma, amit kevesen űzhetnek kis hazánkban, talán itt akarják legkevésbé átvágni az embert. Ha én csaló akarnék lenni, nem tűnik kifizetődőnek műkövességben űzni a dolgot, ráadásul számlaadással. Pedig-pedig, "jó" informatikusként, az lett volna a dolgom, hogy mindent vonjak kétségbe, még a 2x2=4-et is. (Más kérdés, hogy erre alkatilag képtelen vagyok, inkább bizalommal közeledve szeretem mindig megadni az esélyt a velem kapcsolatba kerülőknek, elfogadva, hogy ennek költsége van, mint jelen esetben is)

2014.07.21-én hétfőn (első levelemhez képest töübb mint egy hónapra rá) aztán többször kifejezett direkt kérésem ellenére csak elküldte mailben az árajánlatnak nevezett információs hulladékot. Ennek részletes elemzése a IV utolsó részre marad. És az árajánlat beérkezte azért lehetett talán ilyen "gyors", mert közben 2014.07.18-án pénteken publikáltam e poszt első verzióját.

A poszt üzenete: Attól még, hogy (a múltban) voltak/vannak visszatérő - mintázatot mutató - megrendelői visszaélések árajánlat-témában, attól erre az nem adekvát válasz, hogy a beszállító - pénzes árajánlat címén - visszaéljen helyzeti előnyével (kp-s számlarendezés előre), és visszaéljen vele a megrendelővel szemben.

Konklúzió: nem bántam meg a történetet egyetlen pontján sem, sőt e - bár számomra költséges, de remélhetőleg tanulságos - konkludáló blogposzt megírásának élvezetét ki nem hagytam volna. :) De az biztos, hogy az események hatása alatt átértékeltem egy "kicsit" magamban a pénzes árajánlat megítélését. ;)

Álljon itt a korrekt cég neve és elérhetősége is, ne csak a kerülendő cég legyen megnevezve, referencia és információ érdekében, ha valakit véletlenül szintén érintene a meglehetősen specifikus "műkő", "burkolat" etc. téma.

Budapesten Presstone Design Bt.
Szantovszki Attila
+36 30 9334 954
Tel/fax: 36-1-226-05-95
info@presstone.hu
terrazzo@presstone.hu
mozaiklap@presstone.hu
Weboldal: http://www.presstone.hu

Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta bt.) módra II.

 .
 v2014-08-03, vasárnap délután volt az utolsó módosítás a blogposztban.

Informatikus-adatbányászként nem egy árajánlatot készítettem, illetve vettem részt készítésükben, így aztán mindig érdekesnek tartom, ha szembesülök, hogy más szakmák (képviselői) ezt hogyan csinálják. És így kézenfekvően nyílik lehetőség, hogy az ember végiggondolhassa a témával kapcsolatos generális/standard illetve specifikus aspektusokat is.

Egy konkrét - velem megesett - horrorsztori kapcsán annyi információ gyűlt össze, hogy muszáj volt négy részre szétvágni az eredetileg egy blogposztnak szánt írásomat.

Téma felbontása:

Az első részben az árajánlatkészítési folyamatot általában - esettől függetlenül - járnám körül.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra I.

A második részben magát az árajánlatot általánosságban - esettől függetlenül - járnám körül.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra II.

A harmadik részben a konkrét sztorit írnám le, ami velem esett meg
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra III.

A negyedik részben pedig az eset kapcsán világrajött konkrét árajánlatot elemezném.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra IV.


Mit tekintek én egy korrekt árajánlatnak, milyen ismérvei vannak, milyen információknak kell benne lennie? Amik egyike sem teljesült gyakorlatilag a konkrét elemzett esetben, egyébként.

- Fizetős árajánlatot egyeztetési fázisban meg kell előzzön egy korábbi minta árajánlat elküldése (neveket kitakarva), hogy tényleg megéri pénzért árajánlatot csinálni. Ezzel bizonyítja a szolgáltató a korrektségét, meg javarészt megelőzheti a későbbi vitát. Ha ezt magától nem teszi, akkor azonnal kockáztatja a saját szakmai-tisztességet illető hírnevét, azonnal rávetül a csalás gyanúja, ráadásul igen megalapozottan.

-Az árajánlatnak megrendelő ügyfél által érthetőnek, értelmezhetőnek kell lennie, hiszen azért készül, hogy az ügyfélet támogassa döntésében. Lényeget nem befolyásoló szakhalandzsa kerülendő.

- Az árajánlatnak nem csak érthető nyelvezeten kell készülnie, hanem minden olyan előzetesen is tudható információt kell tartalmaznia, ami a megrendelő ügyfél döntését befolyásolhatja, általuk megalapozhatja bizalmát a szolgáltató felé.

- Az ügyfél felé közvetítendő - pláne fizetett - plusz információknak, lényeginek/relevánsnak, hozzáadott értéket tükrözőnek kell lennie. Az ügyfelet nem érdekli, hogy a piaci kofa Mari néni sárga vagy piros cipőben szedte az almát. Ha az ügyfélnek elég egyetlen végösszeg is (döntéséhez), akkor ezt árajánlatkészítés során előre tisztázni kell, különösen így van ez pénzes árajánlat esetén. Nem feltétlenül indokolt a pénzes árajánlat, ha elég egy nagyságrendi összeg (ami adott esetben lehet túl nagy is, túl alacsony is, hogy további részletek fontosak legyenek)

- Árajánlatnak tükröznie kell, hogy a szolgáltató meg akarja csinálni a szolgáltatást. Ha nem akarja, akkor ne is kérjen pénzt.árajánlatért. Önmagában az árajánlatnak nincs értéke egy ügyfélnek. Hiába adja Pista bácsi fele áron az almát a piacon, ha nincs neki eladható almája. ;) Az meg végképp nonszensz, hogy pénzért tudja meg az ügyfél, hogy Pista bácsi fele annyiért adja azt az almát, amiből nincs is neki eladó.

- Az árajánlatnak pénzes esetben is kell lennie ingyenes alternatívájának. Amit otthonról számítógép mellöl megadhat a szolgáltató, arra az esetre, ha nem akar extraköltséget emiatt magára vállani a megrendelő, árajánlati fázisban.

- Egy árajánlat lehet testreszabott egyedi árajánlat, és lehet általános célú árajánlat (standard sablonokkal). Nyilván az utóbbiért tisztességtelenség pénzt kérni.A piacon Mari néni sem pénzért
mondja meg, hogy mennyiért adja az almáját.

- Az árajánlatban az ár egy fontos tényező, de nem csak az egyetlen tényező, ami alapján dönt egy megrendelő.Továbbá, ha több árajánlatot vet össze egy megrendelő akkor az árajánlatoknak összevethető sarokpontjai alapján szeretné döntését meghozni. Ha egy szolgáltatás bonyolult és/vagy specifikus, akkor ez hatványozottan igaz. Ha ráadásul pénzes az árajánlat akkor meg aztán végképp.

- Teljes csere olcsóbb lehet egy pont után (túl sok javítás esetén) utóbbi már nem éri meg egyszerűen. Ennek komoly aspektusai vannak a fizetős árajánlatra nézve is. Nincs releváns információja az ügyfél felé egy felesleges és drága javítgatás árajánlatban való kirészletezésének. Sőt egyenesen megkérdőjelezheti a fizetős árajánlat létjogosultságát is. Korrekt szolgáltató ezt ingyen és előzetesen elmondja.
 
- Kell szerepeljen egy árajánlatban

* Ár, fizetési ütemezéssel, -feltételekkel.

* Átfutási idő. Mégpedig szakaszoltan/ütemezetten.

* Hányan dolgoznának a projekten, milyen ütemezéssel. Informatikában CV-t is kell mellékelni. Ezt egy egységáras (tömeges jellegű) burkolásnál nyilván nem kellene megtenni, de fizetős árajánlatnál már azt gondolom igen. Nem kerül sokba a szolgáltatónak és mégis hasznos lehet az ügyfélnek (ha extra költségekbe veri magát már árajánlat szintjén is).

* Anyagárnál tételesen bontani kell mennyiség*egységárra. Megmelíteném, hogy ilyen információkat én ingyen is megkaptam iparosoktól az elmúlt időszakban többször is (írásba foglaltan).

* Tételesség általánosan is. Ha több (pl.: burkolat)hibát kell javítani, akkor tételesen kell feltüntetni
az egyes hibák javításának költségeit. Triviális elvárás, hogy javítás esetén csökkentendő lehessen a végösszeg: csak egyes fontosabb /és/vagy olcsóbban javítható hibák kerüljenek kijavításra.

* Előzetes (pláne fizetett) felmérés információi 
+ miért volt indokolt/fontos a felmérés
+ miben segíti az ügyfél döntését
+ mi volt tapasztalható
+ minek mi a következménye
+ mi várható
+ ha fényképek készültek, akkor azok dokumentumba illesztése
+ stb.

* Szolgáltatás teljeskörűsége. Engedélybeszerzés szükségességénél, például.
+ Lehet jelezni, hogy szolgáltatói ilyetén műveletvégzésnek mennyi a tarifája.
+ Lehet jelezni ELŐRE a megrendelőnek, hogy ilyen kihívásokkal kell küzdenie megrendelés esetén, ennek függvényében kérjen (pénzes) árajánlatot.
Magyarországon komoly hendikep a (sokszor felelsegesen bürokratikus és drága) engedélybeszerzés, projektek létrejötte múlhat rajta. Ezzel viszont nem szabad visszaélni, csalni (pénzes) árajánlatnál a megrendelő kárára.

* Megrendelőt terhelő szolgáltatói elvárások részletezése
+ lakáskulcsot kell-e adni
+ szomszédok informálása, egyeztetési szükségességek
+ mikor hogyan lehet - nem lehet közelekedni a lakásokba
+ stb.
 * Van-e nehezítő, drágító körülmény konkrét esetben, ami emeli a szokásos árat?  Ha igen, akkor mi és hogyan?!

* Projekt-kockázatok külön szekcióban való precíz kirészletezése.

* Referencia

* Csinált-e egyáltalán valaha olyasmit amire árajánlatot ad a szolgáltató, ha igen mennyit (mennyire rutinszerű a dolog)?

* Árgarancia kérdése. Nyilván van infláció meg egyéb árgaranciát befolyásoló tényező.
+ Ezeknek a tényezőknek a realitások talaján kell maradnia. 1 hónap árgarancia mindenképpen kevésnek hangzik, pláne, hogy neadjisten háborús vis maior is megakadályozhatja a szolgáltatót a szolgáltatás teljesítésében. Pro és kontra egyaránt fontos a realitás.
+ Rövidebb árgarancia határidő helyett számolási algoritmust célszerű adni (pl.: HUF-CHF árfolyamhoz kötéssel). Tehát ne az legyen, hogy csak egy hónapnyi szavatossággal bír egy drága pénzen vásárolt árajánlat.
+Beépített indokolatlan árnövelést nem tartalmazhat az árajánlat, azaz fixnek kell lennie az árnak a lehetőségek legvégső határáig.Nyilván további megrendelői igények növelhetik a végső árat. És lehetnek előre nem látható de reálisan nem valószínűsíthető műszaki problémák, ezeket viszont be kell árazni szintén.





2014. július 18., péntek

Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta bt.) módra I.

 .
 v2014-08-03, vasárnap délután volt az utolsó módosítás a blogposztban.

Informatikus-adatbányászként nem egy árajánlatot készítettem, illetve vettem részt készítésükben, így aztán mindig érdekesnek tartom, ha szembesülök, hogy más szakmák (képviselői) ezt hogyan csinálják. És így kézenfekvően nyílik lehetőség, hogy az ember végiggondolhassa a témával kapcsolatos generális/standard illetve specifikus aspektusokat is.

Egy konkrét - velem megesett - horrorsztori kapcsán annyi információ gyűlt össze, hogy muszáj volt négy részre szétvágni az eredetileg egy blogposztnak szánt írásomat.

Téma felbontása:

Az első részben az árajánlatkészítési folyamatot általában - esettől függetlenül - járnám körül.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra I.

A második részben magát az árajánlatot általánosságban - esettől függetlenül - járnám körül.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra II.

A harmadik részben a konkrét sztorit írnám le, ami velem esett meg
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra III.

A negyedik részben pedig az eset kapcsán világrajött konkrét árajánlatot elemezném.
Árajánlat-csalás Mesterházy-Nagy Zsolt (InterPorta) módra IV.

Hogyan jut el egy ember (potenciális ügyfél-megrendelő) az árajánlat-kérésig?

Hát nyilván úgy, hogy az árajánlat tárgyát képező tárgyat/tevékenységet/szolgáltatást igénybe szeretné venni.

Normál egyszerű esetben elég lehet árcédulát nézni vagy interneten árlistát keresni, böngészni. Bonyolultabb és/vagy specifikusabb esetben szükség lehet árajánlatot kérni a szolgáltatás nyújtójától. Az, hogy mit jelent a "bonyolult" és ez mivel jár, az későbbi elemzés tárgyát kell képezze indulásként egy pillanatra fogadjuk el, hogy egy árajánlat beszerzése az egyszeri megrendelőnek pénzbe kerül. A megrendelő igénybe akar venni egy szolgáltatást, de előtte kötelező lépcsőként egy metaszolgálatásért (árajánlat-készítés) kell fizetnie.

Mi ennek az árajánlat-készítési metaszolgáltatásnak a jellemzői I.?
- Elkezdődhet egy valódi dialógus a megrendelő és a szolgáltató között, felépíthetik a kölcsönös bizalmat egymás iránt, fizetős verzió esetén is jóval kisebb összeghatáron belül mint maga a szolgáltatás-végösszeg.
- A megrendelő fizetős verzió esetén kinyilváníthatja komolyságát, árajánlat-készítési összeg kifizetésével.
- A szolgáltató megmutathatja talpraesettségét, korrektségét, már az árajánlatkészítési fázisban is. Ha gond van, akkor inkább itt derüljön ki, mint később relevánsan nagyobb károk mellett.

Mi ennek az árajánlat-készítési metaszolgáltatásnak a jellemzői II.?
- Az árajánlatkészítési metaszolgáltatás egyfelül ugyanolyan szolgáltatás mint bármi más.
- Az ügyfél érdekében kell történjen a szolgáltatás, és nem pedig a szolgáltató oktrojál.
- Tisztázott kell legyen az ár, árajánlatkészítési határidő és egyáltalán a "játéktér".
- Vannak fizetési feltételek, ütemezések (pl.: előrefizetés teljes összegben).
- Kell legyen garancia, ügyfélvédelem
- Pórul lehet járni a megrendelőnek, amit vagy korrekten le tud beszélni a szolgáltatóval (ad absurdum bíróságig menően is akár) vagy le tudja veszteségként (savanyú tejet sem feltétlen viszik vissza az emberek a hipermarketbe, hanem csak egyszerűen kidobják.)

Mi ennek az árajánlat-készítési metaszolgáltatásnak a jellemzői III.? 
- Egy ponton viszont különbözhet ez az árajánlatkészítése metaszolgáltatás a többi normál szolgáltatástól, amennyiben arányaiban úgy kerül jelentősebb összegbe, hogy szolgáltatás megrendelése esetén levonásra kerül. Ez viszont már árukapcsolás a szolgáltató részéről
- Nyilván aki kifizet egy nagyobb árajánlatkészítés összegét, az egyfelöl komolyan veszi az üzletet (dialógust) és erről tanubizonyságot tesz a pénz kifizetésével, másfelöl külön hangsúlyozás nélkül is kinyilvánítja, hogy igénybe is szeretné venni a szolgáltatást, amennyiben előrefizet a bizalom jegyében.
- Ilyetén szolgáltatói árukapcsolás esetén egyfelöl hatványozottan igyekeznie kell a szolgáltatónak  korrekten eljárnia teljesítés során, pláne előrefizetés esetén. Másfelöl azonnal látszik a visszaélési és csalási aspektusa lehetősége. Hiszen előrefizetés majd nem korrekt teljesítés esetén a  megrendelő azonnal károsul és futhat a pénze után. Miért? Hiszen nem korrekt teljesítés esetén bolond lenne akarni a későbbi igazi drága szolgáltatást is megrendelni viszont akkor meg mire fel kellett neki kifizetni az indoklatlanul drága árajánlat készítés összegété, ha nem tudja érvényesíteni azt a későbbiekben. Míg a csaló nyeregben érezheti magát több pénzt kapott az árajánlatért és nem kell helytállnia sem az árajánlat tárgyát képező szolgáltatásáért.

Mi ennek az árajánlat-készítési metaszolgáltatásnak a jellemzői IV.? 
Szolgáltatói korrektségről akkor beszélhetünk csak, ha
- Nemteljesítés (késedelmes teljesítés) esetén elállhat az árajánlattól a megrendelő (pénzvisszafizetés mellett), hiszen bizalomvesztés miatt az árukapcsolás is bukik. Hangsúlyozom nem a késedelmességen van elsősorban a fókusz, hanem az árukapcsolás természetén.
- Sőt ennél durvább a helyzet. Ha nem megfelelő az árajánlat a megrendelőnek, mert használhatatlan betűtengerrel van tele és/vagy lényegi információk hiányoznak akkor is jár vissza a pénz a megrendelőnek. ("savanyú tej", "garanciálisság").

Mi ennek az árajánlat-készítési metaszolgáltatásnak a jellemzői V.? 
- Rossz kombináció a (1) pénzes árajánlatkészítés, (2) árukapcsolás, (3) előrefizetés (4) garancia-jótállás megtagadása. Mindez így együtt egy olyan visszaélési, csalási alapot teremt meg, amit tisztességes szolgáltató nem akarhat megteremteni a megrendelője felé.

Etikus-e, helyes-e árajánlatért pénzt kérni? Én sokakkal szemben azon az állásponton vagyok, hogy igen, helyes, indokolt, legalábbis lehetőségként.

Pénzes árajánlat melletti érvek I.
Magyarországon bizony sokszor komolytalanok a megrendelők és/vagy élnek vissza erőfölényükkel a szolgáltató rovására. Azért avval tele tud lenni a hócipője egy szolgáltatónak, hogy a magyarországi megrendelők sóhajtanak egyet, és rendes beszállítóikat is egzeciroztatják árajánlatkészítéssel, a csillagos eget is kérik funkcionalitásban - ad absurdum pre-sales-es pilottal megfejelve - nullához minél inkább közelítő budgettel, amit 90-120 nappal a teljesítés után vagy kifizetnek vagy nem. És akkor 9-10 árajánlatra (meglehet a valóságban ennél is durvábbak az arányok), jó, ha jut egy olyan, amiből projekt is lesz, és azért, mert "ad absurdum" komolyan gondolják megrendelőék. És akkor egy szót sem szóltam e-bid-ről, tenderről, korrupcióról, egyéb finomságokról, amik tovább szennyezik a játékteret stb.

Pénzes árajánlat melletti érvek II.
A komoly, részletes, szakszerű árajánlatkészítés az bizony munka, amit nem lehet felelőtlenül habókra kérni. Más kérdés, hogy én aki mesteremberrel találkoztam mindenki azonnal 1-2 napon belül írásban vagy szóban magától adott árajánlatot, teljesen ingyen, jóindulatúan. Illetve sem én, sem a környezetemben/szakmámban, soha senki nem kért pénzt árajánlatért: pláne nem teljesített árajánlatért előre.

Pénzes árajánlat melletti érvek III.
Miután tisztáztuk, hogy adott esetben nagy meló egy korrekt árajánlat összerakása, ne felejtkezzünk el arról sem, hogy az árajánlatban tisztázott munkakezdés időpontja illetve átfutási idő kritikus pontokért az árajánlatkészítő felelősséget kell vállaljon, hogy van kapacitása az adott időpontra, tényleg meg tudja csinálni az árajánlatban szereplő feladatot. Ha a megrendelő felelőtlenül tojik az egészre (akár visszajelzést sem küld), akkor ad absurdum kapacitás-lekötési problémákkal kellhet szembenéznie az árajánlattevőnek (horribile dictu korrektségi alapon embert vesz fel, vagy elindítja legalábbis a HR-folyamatát). Ez mind költség, ami implicite benne lehet az árajánlat-készítésben.

Pénzes árajánlat melletti érvek IV.
Van egy másik aspektus is: pályázathoz akarják benyújtani az árajánlatot (pl.: Önkormányzat). Ebben az esetben is az árajánlat maga felértékelődik, amiért lehetne pénzt kérni. Esetemben erről persze szó nem volt, most csak érveket gyűjtök a pénzes árajánlat mellett, az ördög ügyvédjeként.

Pénzes árajánlat melletti érvek V.
Vagy az is indokolhatja a pénzes árajánlatot, hogy sokan csak összehasonlítási alap részeként fárasztják a beszállítókat, és ha így tekintünk a dologra, akkor valahol az árajánlatkészítés is egy szolgáltatás, aminek költsége van.

Pénzes árajánlat elleni érvek:
- Olvasatomban az nem ellenérv, hogy nem gyakorlat.
- Akkor már inkább, hogy visszaélési-csalási alap lehet a fentebb vázolt módon. Az MLM pilótajátékos aspektusa is csalás és hiába van rá tapasztalat, így is szedi az áldozatait.
- Az egy kérdés, hogy rendszerszinten hüvelykujj/ököszabály-szerűen célszerű-e kerülni a pénzes árajánlatokat (minden pozitív érv ellenére is), avagy elég csak eseti/egyedi mérlegelés alapján, mert hiszen végül is van esélye a megrendelőnek a csalást és a belőle fakadó kárt elkerülnie, attól függetlenül, hogy én nem kerültem el (a konkrétumokat lásd később)

OK. Tegyük fel egy pillanatra, hogy tehát lehet pénzes is akár egy árajánlat! Mennyit lehet tisztességesen elkérni egy árajánlatért? Azonnal elágazik a kérdés, hogy fix vagy nem fix a költség.

Fix esetben: azt gondolom minimálisan két-három (inkább három) nagyságrend kell az árajánlatkészítési és szolgáltatási költség közé. Tehát átlagosan 1.000-10.000 forint lehet reális egy árajánlatért, 1 milliós szolgáltatás esetében. (Nálam ez végül 19.050 Ft volt nagyságrendileg ~500.000 forintos maximális (teljes elbontásos és újrarakásos) szolgáltatásnál esetén, kb ~100.000 forint/m2 egységár mellett, azaz semmiképpen nem volt reális az árajánlatkészítési költség, a későbbi fejlemények tükrében meg pláne).

Fix esetben az  átlagtól el lehet térni felfelé, ha szakmailag indokolt egy olyan fajta kirészletezés ami egyfelöl átlagosan költségesebb elkészíteni például specifikussága miatt, másfelöl arányosan könnyíti a megrendelő döntéselőkészítését (a kettő együtt jár jegyben). Értsd drágább árajánlat implikálja az ügyféloldali könnyebb döntéselőkészítést. De ez már "finomhangolás" csak, meg könnyű a részletekben is elveszni. A cél ezen a ponton, hogy legalább a kereteit lássuk egy árajánlatnak.

Lehet-e óradíjas (azaz nem fix) egy árajánlat, méghozzá helyszíni szemle nélkül nem tudhatóan mennyivel kell szorozni az óradíjat (egyébként a konkrét esetben 3.000+ÁFA volt az Interporta bt-nél az óradíj). Én azt állítom egy árajánlat csak fixdíjas lehet, de a maximum ameddig el tudok menni, hogy legyen megadva kötelezően egy felső limit. Nehogy már jóhiszeműen kihívjam helyszíni szemlére a felmérőt aki közli, hogy ugyan Budapesten volt dolga, de azért biztos, ami biztos Páty-Budapest oda-vissza utat kifizetteti 6.000 Ft+ÁFA értékben. Ekkor még semmi nem történik, ugye, de már lógok 6.000+ÁFA forinttal.

Esetemben egyébként az általánosabb esetenél nagyságrendekkel definitivebb volt a helyzet, lehetett tudni az árajánlatkészítőnek a Páty-Budapest távolságot és azt is, hogy ezt mennyivel akarja felszámolni, lehetett tudni a méreteket az információimból, képekből, és azonnal azt is, hogy maximálisan mennyi lehet a projekt költsége. Minden esetleg pénzes (díjszabás alá eső) költségoptimalizálás csak ezután jöhet csak, esetleg a helyszíni szemle függvényében. És. ha ez a maximális projektköltség nagyságrendje akkora hadititok, hogy pénzt kell kérni érte, akkor is az bizton állítható, hogy az árajánlatkészítés összege pontosan definiálható látatlanban is, abszolút értékben is, de tól-ig határok között mindenképpen. Azaz egzaktul látszik már ezen a ponton, számítógép mellöl fel sem állva, hogy hány óra kellene úgy mégis az árajánlat-készítéshez (következésképpen mennyibe fog kerülni maximálisan az árajánlat, ha már egyszer óradíjas az árajánlatkészítés), ha valaki korrekt akarna lenni szolgáltatóként.

VÉGSŐ KONKLÚZIÓ: az már biztos minden határon túl megy, hogy árajánlat-készítésre is kelljen árajánlatot kérni. Aminek során a megrendelőnek költsége keletkezik. Ez a biznisz tuti nem lehet tisztességes (értsd csak csalás lehet).

2014. január 19., vasárnap

Coursera: Machine Learning course - DONE :)






Ha félév halasztása után is, de csak sikerült elvégeznem a tárgybeli  második (utolsó?) - időtartamát tekintve 10 hetes - Machine Learning-es Coursera-s kurzusumat, a tavaly nyári Data Science kurzus után. Elvben egyben akartam megcsinálni mindkettőt, de aztán a munka bedarált, esélyem sem volt rá végül. Most viszont végre sikerült: munka mellett, ráadásul észrevétlenül: még a kollégáim, főnökeim sem tudtak róla.

Hogy miért volt fontos számomra a kurzus? Van pár ok:

* Az egy dolog, hogy én szeretem az adatbányászatot, és az meg egy másik, hogy ezt elhiszi-e valaki nekem, egyáltalán azt, hogy ez nemcsak plátói - távolról érzett - (szakmai) szerelem ez. :) Nyilván ahogy házasságkötés nélkül is lehetséges igazi tartalmas párkapcsolat, nem a papír adja a garanciát hozzá, mégis valamilyen (tőlem) független kritérium-rendszer szerint teljesíteni szerettem volna valamit, a - mondjuk most így - l'art pour l'art érdeklődés felett.

* Ne felejtsük el, mivel lassan őskövületként 50 éves elmúltam, amikor én egyetemre jártam (ELTE programtervező matematika szakra), akkor nemhogy nem tanították (szisztematikusan) az adatbányászatot, de még a fogalom sem volt ismert itthon. Megboldogult nagyszerű Nemetz Tibor professzor úgy mesélt nekem tananyagon kívül a k-NN szépségeiről, hogy még véletlenül sem ejtett ki még csak hasonló fogalmat sem. Mindez maga után vonta, hogy (1) voltak hiányosságaim a témában, kvázi csak azok voltak (2) a lyukakat érdemes lenne valahogy szisztematikusan betömni.

Mindazonáltal nem javaslom senki hozzám hasonlatos "túlélőnek", hogy első lépéseit az adatbányászatban evvel a kurzussal tegye meg (nekem sem ezek voltak az első lépéseim). Maximum csak, ha valaki nagyon tehetséges, meg a matek iránt erősen affinis. Ugyanis mellbeverő a kurzus nehézsége, komplexitása (nekem legalábbis).

* Ha csak szimplán a felhasználói/üzleti vetületét nézem az adatbányászatnak, még ebben is csak 50%-osnak értékelem magam (maximum). Abban az értelemben mindenképpen, hogy projektszinten beérkező - akár szakmán kívülről jött - ötletek jelentős hányada egyszerűen nem jut eszembe (amikor kéne). És ezt maximum avval tudom kiegalizálni, hogy cserébe viszont mára már nekem is vannak olyan ötleteim, amik meg másoknak nem jutnak eszébe :) Mindez egyébként számomra - ensemble technikák analógiájára - erősen kidomborítja az adatbányászat csapatsport jellegét. A kurzus nagyban növelte a nagyon hiányzó 50% legalább valamelyest befogásának esélyét.

* Azt gondolom ez az a kurzus, ami nélkül a szó szoros értelmében nem halhat meg - ;) - adatbányász (feltéve, hogy nem tanulta korábban a tárgyat). Érdemes lehet idevágóan Kaggle-s fórumokat böngészni, (1) mennyi hálás tanítványa van Andrew Ng-nek. De ha ez nem lenne elég, (2) volt olyan verseny, amit az ő 2011-es cikke alapján nyert meg a győztes ("black box challange"). Mind szemléletében, mind konkrétumaiban, példamutató értékű a professzor tanár hozzáállása (számomra mindenképpen).

* Paradox módon ugyan, de a téma (avagy mitől és hogyan döglik a(z adatbányászatos) légy; az algoritmusok kontextusában) legnehezebb része tanítható a legkönnyebben, leguniverzálisabban. Ehhez nem kell más "csak" le kell menni a pokol tornácára (a matekhoz, vagyis az adatbányászat "assembly" nyelvéhez). Ez adja aztán a szükséges alapot ahhoz, hogy az adatbányász pontosabban tudja érzékelni, milyen feladatban mennyi potenciál van, mi az, amit már nem érdemes eröltetni és/vagy módszertant váltani hozzá. Amikor az adatbányász nemcsak bele a világba "klikkelget", hanem megalapozott értelemmel munkálkodik.

* Octave/Matlab hihetetlenül erős nyelv, nem is gondolná az ember, megadja a problémára fókuszálás maximális élményét (90%-10%), tömörséggel, élvezettel, nagy hatékonysággal

* Említésre méltók a számonkéréses feladatok. Egyrészt voltak tesztkérdések (kb.: 90-100 darab), másrészt voltak programozási feladatok (kb.: 40-50 darab). A neurális hálóknál volt 90 pontos brutális nehézségű feladat is, illetve voltak bónusz feladatok is (hogy lehessen plusz pontok szerzése révén határidő-csúszásokat kiegalizálni). És voltak törtpontok (legkisebb megszerezhető a 0.2 volt). Bónusz-feladatok nélkül a maximális elérhető pontszám 890 volt a két feladattípusban (ennyi kellett a 100%-hoz), bónuszokkal együtt 940 pont. Én ez utóbbit értem el 106% erejéig. Azért volt annak feelingje (számomra), hogy 0.2 pontot sem hagytam veszendőbe :)

* Angol nyelvi aspektusok. Mivel nem a nyelvzsonglőrök osztályát erősítem, így érthető módon öröm, meg sikerélményt adó volt érdemben és értelmesen gyakorolni az angol nyelvet. Külön élvezet volt a teszteknél a nyelvi finomságokra is figyelni. De nem hallgathatom el a hátrányát is. Egyfelöl sok-sok fogalomnak, definiciónak nem is tudom a magyar megfelelőjét, teljességgel angolul rögzül bennem. Másfelöl mivel angolul tanultam, így ugyanakkora erőbefektetés mellett az angol nyelven való tanulás sokkal kevésbé tud mély lenni (számomra), mintha ugyanezt magyarul tenném meg (saját tapasztalatom alapján).

* Végére hagytam a gépi tanulás "beskatulyázásának" aspektusát. Azt gondolom az adatbányászati szaktudásnak két nagy vetülete van (háromféle megközelítésben).
- Algoritmikus és nem-algoritmikus (értsd: adott esetben vajákolásosan misztikus)
- Domain-free és domain-specific, ahol az utóbbi mindig jobb eredményeket fog adni egy rablló-pandúr játék keretében (jelenlegi infók alapján illetve szerintem).
- Kutatói és üzleti adatbányászat.

Hallom az általános felhördülést "lelki füleimmel", hogy a visual streames szoftverhasználatot miért hagyom ki. Hát ennek a nem hangsúlyozásnak több oka is van:
- Egy Clementine-t még egy Microsoft Office-nál is könnyebb használni, annyira kézreáll.
- Csak "hangulatkeltéshez" elég, érdemi módon megalapozott adatbányászathoz nem.
- Ha lenne valós részesedése, akkor az 1-2%-nál többet nálam nem tudna elérni a másik kettőhöz képest, ami lássuk be mikroszkópikusan kicsi.
- Ha szigorúan vesszük, akkor az adatbányászat/machine-learning nem más mint egy pár új transzformációs oszlop egy meglévő dataset-hez, execute gomb megnyomás után. Jó egy kis paraméter pótméterezéssel. ;) Lássuk be az érdemi hozzáadott érték az alap dataset előállásában, a paraméterezésben, és az eredmények interpretálásában van, nem pedig abban, hogy hogyan kell az execute gombot megnyomni.

Azaz ezek mindegyike külön (nagy) tudomány:
- Adatbányász célú adatpiac építés
- Machine learning algoritmuselmélete
- Vizualizálás
- Prezentálás (sok infóból, a kellőt, célbaérően megmutatni)

És persze jó lenne a szakmába belemenve a konkrét részletekről is írni, de akkor sose fejezem be ezt a blogposztot ;)