Využívanie údajov je problémom pri vývoji programov a vývoji informačných systémov. Pred analýzou veľkého množstva údajov a rozhodnutím, ktoré zaručuje spoľahlivý a objektívny výsledok, je potrebné určiť tento veľký objem. Úloha je komplikovaná, ak sa tok informácií rýchlo zvyšuje a čas na rozhodnutie je obmedzený.

Údaje a ich formalizácia

Moderné informačné technológie poskytujú bezpečnú a spoľahlivú analýzu, prezentáciu a spracovanie údajov. Syntakticky a formálne je to pravda. Z hľadiska sémantiky úlohy a objektívnosti očakávaného riešenia závisí výsledok na skúsenostiach, vedomostiach a zručnostiach programátora. Programovacie jazyky sú v stave spoľahlivého a bezpečného nástroja. Znalosti a zručnosti špecialistov na analýzu, reprezentáciu a spracovanie údajov sa dostali na úroveň relatívnej univerzality.


Technológia analýzy duševných údajov na tejto úrovni je prakticky bezchybná. Typ údajov môžu byť známe pred operáciou a v prípade ich nedodržania - automaticky sa dostanú do požadovaného typu. Vyvinú sa hypertextové nástroje, široko sa využíva distribuované distribuované spracovanie veľkých objemov údajov. Na tejto úrovni:

informačné úlohy podliehajú formalizácii;

sú splnené potreby intelektuálnej analýzy;

Kvalita výsledku závisí od kvality vedomostí a profesionality programátora.

Situácia v programovaní informáciíSystémy podnikovej úrovne sú charakterizované prítomnosťou skutočne fungujúcich produktov, ktoré zabezpečujú tvorbu veľkých objemov dát a problém vyššej úrovne.

Veľké objemy údajov

V 80-tych rokoch, kedy sa databázy stali systémami správy databáz, sa zlepšila spoľahlivosť hardvéru a kvalita programovacích jazykov bola veľmi žiaduca. Boli získané veľké množstvo databáz, získali sa mnohé počítačové zdroje informácií, vyvinuli sa komplexné systémy na zhromažďovanie rôznych informácií (financie, počasie, štatistiky, dane, nehnuteľnosti, osobné údaje, klímu, politika). Niektoré zdroje údajov sa vyznačujú zjavnými zákonmi a podliehajú analýze matematickými metódami. Inteligentnú analýzu dát môžete vykonať v programe Excel: jasné údaje, zostavenie modelu, formulovanie hypotézy, určenie korelácií atď. Niektoré údaje a pramene práva je ťažké zistiť. Vo všetkých prípadoch sa softvér a hardvér na spracovanie údajov vyznačujú spoľahlivosťou a stabilitou. Úloha inteligentnej analýzy údajov bola v mnohých sociálno-ekonomických sférach na čele rohu. Lídri informačného priemyslu, najmä Oracle, sústreďujú svoju pozornosť na celý rad okolností, ktoré charakterizujú údaje nového typu:

obrovské toky;

prirodzené informácie (aj keď sú naprogramované);

heterogénne údaje;

najvyššie kritériá zodpovednosti;

širokú škálu formátov na reprezentáciu údajov;

kompatibilita integrátorovúdajov a ich spracovateľov.

Hlavným znakom údajov nového typu: obrovský objem a rýchlosť rastu tohto objemu. Klasické algoritmy nie sú použiteľné na spracovanie nových typov údajov, a to aj pri zohľadnení rýchlosti moderných počítačov a aplikácie paralelných technológií.

Od zálohovania po migráciu a integráciu

Úloha bezpečného ukladania informácií (zálohovanie, zálohovanie) bola predtým naliehavá. V súčasnosti je skutočný problém migrácie viacerých reprezentácií údajov (rôznych formátov a kódovania) a ich integrácie do jedného celku. Bez technológie inteligentnej analýzy údajov sa mnohé problémy nedajú vyriešiť. Tu nehovoríme o rozhodovaní, určovaní závislostí, vytváraní algoritmov pre objemy vzorových údajov na ďalšie spracovanie. Zlúčenie heterogénnych údajov sa stalo problémom a nie je možné priniesť zdroje informácií na jediný formalizovaný základ. Inteligentná analýza veľkého množstva údajov vyžaduje definíciu tohto objemu a tvorbu technológie (algoritmus, heuristika, sady pravidiel), aby sme dostali príležitosť na to, aby sme zadali úlohu a vyriešili ju.

Dolovanie dát: kopanie

Koncept analýzy údajov v kontexte intelektuálnych metód sa aktívne rozvíja od začiatku 90. rokov minulého storočia. Umelá inteligencia ešte nedosiahla očakávania, ale potreba informovaných rozhodnutí založených na analýze informácií sa neustále zvyšuje. Strojové učenie, inteligentná analýza dát, rozpoznávanie obrazov, vizualizácia, teória databázy, algoritmizácia, štatistiky,matematickými metódami bolo spektrum úloh novej, aktívne sa rozvíjajúcej oblasti vedomostí, ktorá je spojená s anglofónnym dátovým miním.
V praxi sa nová oblasť vedomostí stala interdisciplinárnou a práve sa stáva. Vďaka skúsenostiam a softvérovým produktom spoločnosti Oracle, Microsoft, IBM a ostatným vedúcim spoločnostiam je jasné, že takáto inteligentná analýza údajov, ale stále existuje veľa otázok. Stačí povedať, že softvérová produktová rada spoločnosti Oracle, venovaná mimoriadne veľkým objemom informácií, ich integrácii, kompatibilite, migrácii a spracovaniu, je viac ako štyridsať pozícií! Čo potrebujete na správne spracovanie veľkých údajov a získanie uzemneného riešenia? Vedci a prax sa približujú k všeobecnému chápaniu frázy "hľadanie skrytých zákonov". Tu sú tri pozície:

neviditeľné;

objektívnosť;

praktické využitie.

Prvá pozícia znamená, že zvyčajné metódy neurčujú, čo je potrebné nájsť a ako to urobiť. Klasické programovanie sa tu nepoužíva. Vyžaduje sa, ak nie umelá inteligencia, potom aspoň programy pre inteligentnú analýzu dát. Výraz "intelektuál" nie je problém, ale úloha určenia dostatočného množstva prvotných údajov pre rozhodovanie a formuláciu pôvodných pracovných predpisov. Objektivita - druh záruky, že zvolená technológia, vyvinutá "inteligentná" metóda alebo celý rad "inteligentných" pravidiel poskytne dôvod domnievať sa, že výsledky sú správne nielen autorom,ale aj akýkoľvek iný špecialista.

Spoločnosť Oracle vo svojich softvérových produktoch pridáva k pojmu objektivity stav bezpečného, ​​bez negatívneho rušenia od tretích strán. Praktická užitočnosť - najdôležitejšie kritérium pre výsledok a algoritmus na riešenie problému dolovania dát v konkrétnej aplikácii.

Dolovanie dát: kde kopať

Business Intelligence (Business Intelligence - BI) je základom moderného, ​​najdrahšieho a najpopulárnejšieho softvéru. Poskytovatelia obchodných riešení veria, že našli spôsob riešenia problémov spracovania veľkého množstva údajov a ich softvérové ​​produkty môžu zabezpečiť bezpečný a rýchly rozvoj podnikov akejkoľvek veľkosti. Rovnako ako v prípade umelej inteligencie v oblasti inteligentnej analýzy údajov by súčasné úspechy nemali byť príliš preceňované. Všetko sa dostane len na nohy, ale tiež poprieť skutočné výsledky, nemôže. Rozsah pôsobnosti. Analyzujú sa algoritmy analýzy intelektuálnych údajov v hospodárstve, produkcia v oblasti informácií o klíme, kurzy výmenných kurzov. Existujú inteligentné produkty na ochranu spoločnosti pred negatívnym vplyvom prepustených pracovníkov (oblasť psychológie a sociológie je silnou témou), od vírusových útokov. Mnoho vývojov skutočne plní funkcie, ktoré deklarujú ich výrobcovia. Úloha - čo robiť a kde to robiť - získala zmysluplný a objektívny kontext: 37) minimálny možný rozsah;

najpresnejší a najpresnejší účel;

zdroje údajov a údajesú prenesené na jeden základ.

Iba očakávaný rozsah a užitočnosť môžu pomôcť formulovať technológie, metódy, pravidlá a základy data miningu v určitej oblasti pre daný účel.
Informačné technológie požiadali o vedeckú disciplínu a nie je potrebné robiť malé kroky v novom, nepreskúmanom smere. Kritizovanie svätých svätých - prirodzenej inteligencie, človek nemôže od seba požadovať, čo sa nedá urobiť. Rozhodovanie, čo robiť a kam robiť, je dnes mimoriadne ťažké. Najmä na podnikanie v určitom odbore ľudskej činnosti možno opísať informácie, ktoré majú byť výskum a získať riešenie, ktoré bude vyznačuje určitým podielom pravdepodobnosti a mierou objektivity.

Data mining: ako kopať

Profesionálne programovanie a vlastný vysoko kvalifikovaný personál - jediný nástroj na dosiahnutie požadovaného. Príklad 1. Úloha dolovania dát nebude vyriešená čistou aplikáciou Oracle Load Testing Controller. Tento produkt je nárokovaný ako plnohodnotný a rozšíriteľný nástroj na testovanie zaťaženia. Je to veľmi úzka úloha. Iba načítať! Nič viac, žiadne vysoko intelektuálne úlohy. Úlohy, na ktorých sa tento výrobok používa, však môžu spôsobiť, že nielen odberateľ skúšok, ale aj developer, s celosvetovou vedúcou pozíciou. Testovanie je najmä požiadavkou funkčnej úplnosti. Kde je záruka, že Oracle Load Testing Controller je "aktuálny" na ktorých dátových súborochmôže vstupovať do študovaného programového, serverového, softvérového a hardvérového komplexu. Príklad 2. Oracle Business Intelligence Suite Foundation Edition pre aplikácie Oracle - vývojár vyhlasuje tento produkt za dobrú kombináciu s odbornými znalosťami v oblasti budovania, vývoja a poskytovania veľkého podnikania. Nepochybne je skúsenosť spoločnosti Oracle skvelá, ale to nestačí na jej premenu prostredníctvom softvérového produktu. V konkrétnom podniku v konkrétnom regióne služba Business Intelligence od spoločnosti Oracle nemusí fungovať na základe rozhodnutia daňovej služby alebo rozhodnutí miestnej samosprávy.

Inteligentné využitie moderných technológií

Jediné správne riešenie v oblasti veľkého množstva informácií, dátového baníctva a dátových banských systémov spoločnosti, vládnej agentúry av každej sociálno-ekonomickej oblasti - tím odborníkov. Znalosti a skúsenosti skúsených odborníkov sú jediným správnym riešením, ktoré poskytne komplexnú odpoveď na otázky:

dolovanie dát: čo kopať, kde to robiť a ako?

Prednostné produkty nákupu príslušného miesta určenia nebudú zbytočné, ale predtým, než budete robiť tak, musíte preskúmať rozsah uplatňovania, formulovať predbežné rozhodnutie a dať predbežný účel. Iba po tom, čo je oblasť určená cieľom a je relatívne jasná, môžete vyhľadávať riešenia, ktoré už boli vyvinuté a testované v praxi. S najväčšou pravdepodobnosťou sa nájde produkt, ktorý objasní predmet a účel predmetu. Žiadny program sa dnes nepodarí vyrovnať so skutočnou úlohou. Stratené v oblasti umelej inteligenciena začiatku 80. rokov minulého storočia sa inteligentná osoba ešte nemôže spoliehať na schopnosť napísať program, rozhodujúcu intelektuálnu úlohu. ​​Nemožno očakávať, že AI príde sama od seba, ale ten, kúpený v Oracle, Microsoft a IBM, povie, čo je potrebné urobiť a aký výsledok považujeme za správny. V modernom svete informačných technológií dochádza k rýchlemu pokroku. Môže mať efektívnu úlohu, posilniť vaše podnikanie alebo vyriešiť náročnú úlohu. Ale musíte sa zúčastniť, nezapočítava sa do programu. Programovanie je statická práca, výsledkom je rigidný algoritmus. Moderné intelektuálne pravidlo alebo heuristika je pevne stanovené riešenie, ktoré nefunguje pri prvej najlepšej šanci.

Modelovanie a testovanie

Inteligentná analýza veľkých údajov - skutočne relevantná a relevantná úloha. Ale oblasť použitia na zistenie tohto problému je zlá, ale žila a rozvíjala. Potreba ďalšieho rozvoja podnikania predstavuje nové výzvy, ktoré nám umožňujú koncepčne vymedziť rozsah rozsiahleho spracovania údajov. Je to prirodzený proces vedeckého, technického a intelektuálneho rozvoja podniku, spoločnosti a podnikania. To možno pripísať internetovým technológiám, úlohám analyzovania informácií na internete. Existuje mnoho nových úloh a programov, ktoré sú v dopyte, môžu byť viac či menej jasne usporiadané a charakterizované objektívnym parametrom: ich riešenie je zaujímavé a existuje pochopenie pravdepodobnej užitočnosti. Simulácia -Dobre rozvinutá oblasť, ktorá je vybavená množstvom overených matematických metód. Model môže byť postavený vždy, bude čas a túžba. Simulácia vám umožňuje sústrediť všetky dostupné poznatky do jedného systému a cyklicky ho vylepšiť na súbor testovacích dát. Ide o klasickú vývojovú cestu, ktorá bola tiež testovaná praxou. Ak nechcete postaviť vzduchové zámky a so stabilným a dôverne ísť na stanovený cieľ, potom môžete určiť ako cestu, požadované riešenie a konečný cieľ.

Programovanie a inteligentné metódy

Je programovanie na začiatku 80. rokov minulého storočia viedla k zrodu povedomia verejnosti myšlienkami na umelú inteligenciu, že sa jednalo o predchodcu dolovania dát, a že začal s dolovanie dát techniky. V týchto vzdialených časoch problémy s veľkým objemom údajov neexistovali. Dnes nielen veľké objemy dát, ale aj výsledok vývoja databázových systémov - významné skúsenosti v relačných vzťahoch ako základ pre prezentáciu dát. Vzťahové vzťahy sú súčasťou, ale nie sú integrálne. Tam je koncept systémov, hierarchiou, a veľa z toho, čo má prirodzenú inteligenciu, ale nemôže vykonávať umelej inteligencie: v tomto prípade - pri programovaní. Programovanie nie je inteligentné v žiadnom zmysle, ale je to skutočný výsledok aplikácie inteligencie v praxi. To je jeho obsah, a to je presne to, čo možno použiť na dosiahnutie požadovaných cieľov.

Aktívne vedomosti a zručnosti

Každý program je statický. Predstavuje konštrukciu algoritmu riešenia vv rámci syntaxe programovacieho jazyka. Moderné programovacie jazyky sú perfektným výsledkom 80-tych rokov a toto nemožno poprieť. Dá sa tiež poznamenať, že moderné programovacie jazyky poskytujú možnosť vytvárať algoritmy sú k dispozícii mimo ich syntaxe. Ak niekto bude schopný napísať program, ktorý nebude fungovať s vôľou svojho autora, a vôľu jej získaných znalostí a zručností, problém veľkého množstva dát a robiť inteligentné rozhodnutia sa uzavrie a začne nové kolo pre rozvoj vedomostí.