Archive for the ‘management’ Category

The data migration market is there and growing

But it is not in the skull of the decision makers

The proof: 10 years ago 80% of the migration projects were unsuccessful. In 2007 after the survey of Bloor Research, 84% of the migration projects failed: either overrun the budget or could not finished in time. The survey also says that the budget of the data migration projects will raise from 500 to $ 900 million until 2012.

On the 1st October I participated on the event Data Migration Matters 2 in London. In the next posts I reflect my thoughts about the lessons of this day.

Why migration projects fail?

Migration is always the necessary evil in introduction of a brand new shiny system or organisation restructuring. That is the reason, that they are always underestimated, and the scope is not completely defined.

To save costs, companies think that the cheapest solution is the “DIY” – Do It Yourself. The result: 89% of the internally made migration projects will fail. I do not mention now the telecommunication companies, banks and insurance companies, where data migration projects are continuously executed, I  mean the companies, where a big restructuring or introduction of a new ERP happens once in 10-15 years.

If decision makers think about the migration of existing data, than they give the task to the IT department. It don’t want to underestimate and decrease the significant of the IT in a company, because I have also strong IT roots, but this time I must clearly say: data migration is not the task of the IT Experts! The thinking of the IT people do not reflects the Business Needs and the result will be always unhappy business users and/or failed project. The solutions is building virtual teams from Business Experts, IT Experts and Project Manager. Johny Morris, the author of the Bible of the Data Migration (Practical Data Migration) thinks: the data migration project is a quest, where all parties have a clear goal to finish the project successfully. In a quest all team members will give their best to achieve the common goal.

The last significant failure cause of the data migration projects is the lack of specialists. There are lot of independent consultants (like myself on migration.hu), migration consultancy companies (like iergo, Kognitio, Datamonic, DataFlux), solution providers (like Talend, Trillium Software, Informatica) on the market, they have the knowledge and proof of finished successful migration projects.

What is the goal of the migration projects?

Every project manager want to hold the number of risks low in their projects. At the moment an application migration project has a very big risk: the data migration subproject. The goal is to lower the risks of these projects, to predict the outcomes of the data migration, lower the impacts in a daily business activities. These all will result a Zero Defect Migration which is the main goal of a data migration project.

Conclusion: Supply and Demand

Why do not meet the highly educated and experienced Migration Solution Supply  and the Demand in the market? The answer is the bad timing! In 98% of the life cycle of the companies has no need to migrate data. And when they need to execute data migrations, than they don’t know about the safest and cheapest solution: using of data migration experts.

So our task is in the next years to communicate to the world: there is a solution, there are proven ways, better to estimate first an unknown task in case of data migration needs, than fail and loose lot of money.

There is a solution to eliminate the bad timing of the migration in the market and lower the failure risk in a potential data migration project: it is already being used: keeping the data quality of the data centers in the companies by using data governance.

Once again: the data migration market is there. We, the members of the data  integration profession community can deepen the market in the head of the decision makers with continuously communicating with the potential customers.

Bookmark It

Hide Sites

How to succeed a (2-day) data migration project?

Contact list data migration part 2

You can laugh about the volume of the project, but if you cannot succeed a short project, how do you think you will be successful in a large project?

This post is the second and last writing of the  The true story of contact list data migration, where many contacts from 4 different sources are migrated in a possibly  maximum  data quality to iPhone.

Transient data store for migration Nr.3

You saw in the last post, that I had problem in the “last name“-”first name” sequence in Google Address List, and there is no way to repair it automatically (which in the end effect faster then manual correction). The next attempt is to export all the contacts into a CSV file, which can be imported into Excel (or in my case OpenOffice Calc), where the name sequences can be repaired relative quickly. This is already the third transient data store.

Note: At this point I can check off 2 legacy sources: contacts from the old Nokia phone and from the Thunderbird contact list. The Excel table with old numbers and an Outlook Express Address Book is remaining.

An obvious choice is copy-paste the Excel contacts to the OpenOffice Calc (in CSV format), of course with merging the right columns.

The contacts in Outlook Express are in the WAB (Windows Address Book) – which can be imported into a CSV format – so I have again a direct path to the end list with copy-paste.

The last steps as importing back the Google-kind CSV format to the Google Contact list and final synchronisation with iPhone through the iTunes is without any problem and I can be happy.

The key element of the migration

After three attempts I have found the safest and quickest method (and transient data store), where the data import, data modification and data quality optimization has the fastest way: using the Google Address Book CSV format in the application OpenOffice Calc. Look at the final workflow which became complicated in the first look.

Data Quality Aspects

The original scope in aspect of Data Quality is the maximum data quality, there are no excuses, I don’t want to use any garbage in the new phone. Here is the hypothetical question: what is maximum data quality? All data records in the target are fine, so I can use them? Or: all data records in the source(s) are in usable form in the target? Of course not, there are many useless e-mail addresses in the sources which have been added automatically after writing a mail – even from 5-10 years ago, where I don’t know any more, who is behind the e-mail address.

Here are the important points in the data quality:

- the sequence “last name”-”first name” which was explained very detailed in the last post

- the using of the Hungarian special characters as: ö, ő, ü, ű, í, á, é, ó – fortunately using the UTF8 coding between the export-imports that was no problem.
- The right source fields should be placed into the right target fields (e.g. it has no sense a phone number in the e-mail column)

- The phone number formats should have this pattern: (+<international_code> <national_code> <phone_number> )

Elements from Project Management

If I were enough schizophrenic, then I could have the following concerns for a meeting:

- The rough effort estimation said: 2 days time for this activity.

- The risk was mentioned in the beginning of the first post: the biggest risk is not to reach the project goal within time, because of unknown functionality of the available tools. And this was the main focus during the 2 days: to find the fastest solution to merge the contacts. The risk evolved to a real problem, but it has been handled by focusing the solution.

- Measuring problem: How could I be certain, that all important contacts have been migrated? The usual counting technique (counting of the contact of each source and comparison with the number of the final migrated contacts)  is not efficient because of many useless e-mail addresses (with the pattern info@xyz.com). What do you think, what would be an acceptable method to be sure not to forget any contact?

Summary

I declare this mini-project successful, because the migration has been executed in time and in the target point of view with max. data quality. However there were lions in the path even in this relative simple and short activity which endanger the reaching the main goal.

Bookmark It

Hide Sites

Az adatminőség-pokol 9 köre – a közönyösek köre

Kinek a feladata az adatminőség biztosítása?

Kik a legfobb közönyösek, akik megérdemlik az elso kört? Maguk a vállalatok, ahol esetleg már realizálódott, hogy órákat vesztegetnek el naponta azzal, hogy a megfelelo adatokat elobányásszák az adatbázisból, holott elvileg néhány másodpercen belül rendelkezésre kell állnia. Itt nem arra gondolok, hogy lassú az alkalmazás, vagy a hálózati kapcsolat a felhasználó számítógépe és az adatbázis között, hanem hogy rossz adatok jelennek meg. A rossz adatot nem lehet az ajánlatra vagy számlára írni, hanem előtte ki kell javítani, vagy esetleg más módon előállítani a kívánt dokumentumot.

De vajon költenek-e a vállalatok a mai gazdasági klímában egy új projektre, ahol amelynek az a feladata, hogy az adatminőséget biztosítsák, és az a célja, hogy rengeteg időt és pénzt spóroljanak meg azzal, hogy a helyes adatok rögtön rendelkezésre állnak. Azok költenek arra, amely cégeknek a gyenge adatminőség miatt elvesztegetett idő már fáj. És jobban fáj, mint az adatminőség biztosítására, adattisztításra fordított összeg.

Hogy milyen módozatok vannak arra, hogy egy vállalatnál elérjük a kívánt minőséget, arról egy későbbi bejegyzésben írok.

De, például a Drótkerítésgyártó Vállalat úgy döntött, hogy befektet, és optimalizálja a költségeit adatminőség szempontból is. De ki fogja elvégezni a munkát? Az IT részleg, vagy az üzleti részleg?

Az adatminőség biztosítása az IT feladata

Az első gondolat az, hogy az informatikai részleg, mert az információ az adatbázisban van tárolva, és az alkalmazások amelyek menedzselik az adatok elérését/módosítását. Ezért, ha probléma van az adatokkal, akkor az informatikusoknak kell megoldani a helyzetet.

Aki így gondolja, az töltse le az adatmigrációról szóló tanulmányomat, amely az adatminőség témának a testvérterülete.

Nyilván egy informatikus nem fogja tudni eldönteni, hogy az ügyfél Kovács József azért van kétszer az adatbázisban, mert véletlenül kétszer vették fel az adatait, vagy azért, mert két Kovács József nevű ügyfél van. Ha az informatikus dönti el, hogy mit lehet változtatni az adatbázisban, akkor könnyen lehet, hogy nagyobb károk keletkeznek, mintha hagyták volna az adatokat békén. Mert második Kovács József a vállalat legfőbb kliense, drótkerítés-nagykereskedő, és éppen őt törölték ki az adatbázisból…

Az adatminőség biztosítása az üzleti folyamatokhoz értők feladata

Vagyis az adatminőség biztosítása az üzleti részleg feladata, mert az adatok az üzleti folyamatok során képződnek, és a felhasználók azok, akik menedzselik a feladatokat, és ha problémák vannak az adatokkal, akkor az ő felelősségük az elrontott adatok tisztítása és helyretétele.

A megoldás tehát, hogy A Drótkerítésgyártó Vállalat vezetése kijelöl egy titkárnot és egy értékesítésen dolgozó szakembert, együtt összeülnek és 2 hét alatt kiszedik az összes szemetet az adatbázisból. Ebben az esetben lehetséges, hogy az értékesíto kivonása miatt akkora bevételtől esett el a Drótkerítésgyártó Vállalat, hogy jobb lett volna inkább az adatokat békén hagyni. Mert elvesztették a német Joseph Schmidt drótkerítés-nagykereskedőt, aki 30%-kal több megrendelést biztosított volna a vállalatnak.

Vagyis?

Az adatminőség biztosítása mindenki feladata

A sikertelen adatminőség-projektekre az a jellemző, hogy az üzleti részleg függetlenül definiálja a követelményeket és az IT részleg függetlenül írja meg a specifikációt. Ezután hipp-hopp elvégzi a “kódolás, tesztelés, leadás és a “kész van!” győzelmi felkiáltás lépéseit, ezáltal az üzleti részleget meghagyva a “megoldás” frusztrációjában.

A sikeres adatminőség-projektet az jellemzi, hogy egy központilag menedzsment megbízott összeforrasztja az IT és üzleti részleget egy iteratív sikeres projektté. Ebben az üzleti részleg birtokolja az adatokat, és érti, hogy milyen jelentősége van a mindennapi üzleti folyamatokban, az IT részleg pedig definiálja a szükséges adatminőségi normákat és folyamatokat.

Bookmark It

Hide Sites

Az elozo bejegyzés végén feltett kérdést fogom feloldani most: egy adatmigrációs projekt hány százaléka technikai ill. menedzsment kérdés. Hogy pontosítsam, van egy nagy szelet közös metszet, vagyis technikai kérdésbe burkolt menedzsment feladat (például kérdések tisztázása, adatok beszerzése), ezeket most nem a technikai feladatok közé sorolom.

Szóval kedves barátom (a többesszámot szerencsére kihagytam, mert annak negatív zöngéje van), én megfordítom az arányt, amelyet a két hozzászóló tippelt: az a tapasztalatom, hogy kb. 70% menedzsment feladat és 30% technikai feladat.

Ott szokott bukta lenni a projektben, ha adatmigrációs projektmenedzseri feladatokat technikai hozzáállással próbálod megoldani.

Bookmark It

Hide Sites

Meg kell elégedned egy ideig azzal a ténnyel, hogy a blog külön indult a honlaptól (migration.hu), de így gyorsabb volt elindítani. Több célja van ennek a blognak, hogy miért kapkodtam vele ennyire:
1. a Te oldaladról: információt fogsz itt is kapni tolem, mint a hírlevélben, de itt egy kicsit másként.
2. nyilvánvalóan szeretném látni az aktivitásodat, ezért ha mondanivalód van, oszd meg azonnal, nehogy benned maradjon.

Egyébként: üdvözlet Párizsból!

Két hetet vagyok itt a francia SFR mobilszolgáltató IN rendszerének migrációján. A projekt majdnem két éve tart, és most az UAT (user acceptence test) elott vagyunk ( az UAT magyar megfelelojét nem tudod véletlenül?).
A migráció alapját egy több, mint 450 oldalas folyamatleírás képezi, amelyet lépésrol lépésre le kell tesztelni. Most az ügyfél visszautasította az utolsó lépések egyikét. Technikailag ez azt jelenti, hogy 1 db paramétert át kell állítani, hogy a migrációs folyamatba betegyünk egy lépést. Mit okoz ez az 1 lépés?
1. Plusz éjszakát a migráció folyamán (ez a negyedik)
2. Az UAT eltolását 2 héttel, mivel emiatt az egy lépés miatt újra kell tesztelni a központban az egész folyamatot, ami min. 1 hét (az állások és az alkudozások miatt 2 hét lesz a késés)
3. 1 héttel korábban hazamegyek – de utána meg vissza kell jönni.

Miért jó az ügyfélnek?
1. Ezzel az egy plusz lépéssel az adathalmaz kb. 5%-án meg tudja nézni, hogy helyesen muködik-e minden, vagyis biztosítva van a migráció többi része, és kevesebb valószínuséggel lesz hiba.
2. Ha mégis hiba van, a fall-back nem 6-8 óráig tart, hanem 1-2 óráig, mert a napközbeni csúcsidoben nem mindegy, hogy a kiszolgáló gépek eroforrásai milyen akciókra mennek el.
3. hamarabb le lehet zárni a clusteren a két node között feloldott lemeztükrözést, így kisebb a valószínusége, hogy ha elromlik a lemez, ahol az éles adatok vannak, akkor elveszik 1 nap adatai.

A költségeket most nem említem, de végig lehet gondolni, hogy repülojegy, szálloda, szakértoi óradíj, várakozás miatti termelékenységkiesés miatt hány millió lehet. És nyilván inkább megéri az ügyfélnek, mint a kockázat vállalása.

Amint láthatod, az adatmigrációnak a technikai részét alig említettem, mert már nem releváns ebben a fázisban.

A kérdésem, hogy véleményed szerint egy migrációs projektben hány százalék a technikai kérdés (migrációs tool fejlesztés, adatokkal való bíbelodés, stb).
(a másik pedig ha van egy jó magyar kifejezés az UAT-re a tarsolyodban, akkor oszd meg velem)

Bookmark It

Hide Sites