Dość klikania, czas na pisanie

Kończę najbardziej radosny etap pracy - symulacje i eksperymenty, czas teraz dokończyć pisanie dwóch ostatnich rozdziałów pracy. Niestety, muszę to powiedzieć - Statistica jest jednym z najmniej “user-friendly” programem, jaki znam. Chyba już wiem, czemu jest uznawana za pakiet akademicki Na opanowanie wszystkich potrzebnych opcji poświęciłam czas idący w setki godzin (sic!). Joone był niestety zbyt ubogi, a tylko Statistice można było na AE dostać na licencji studenckiej. Ciekawa jestem jak by to wyglądało w SPSS albo SASie (chociaż w SASie z tego, co pamiętam była tylko opcja pracy z model data-miningowym i kodem…)

No, ale w końcu Statistica policzyła, co miała policzyć Do tego wszystkie moje intuicyjne założenia znalazły potwierdzenie w książce Azoff’a. Teraz tylko wystarczy to jakoś spójnie opisać i pożenić razem: sztuczne sieci neuronowe, modele ekonometryczne, systemy transakcyjne, modele data-miningowe, strategie inwestycyjne, dwa typy akcji (Próchnik i Pekao), prognozowanie cen za pomocą modeli ARMA-GARCH (które służą de facto do prognozowania zmienności…) itd…

Model data-miningowy

Zbudowałam po jednym takim modelu dla każdej pomocniczej hipotezy badawczej - źródło danych jest powielane, oddzielnie są dane do budowy modelu i oddzielnie do wdrożenia. Nie wiem jeszcze tylko, jak do modelu wstawić obiekt “Automatycznego projektanta”, który zaczytuje więcej niż jeden szereg czasowy, więc tę hipotezę testuję z poziomu modułu “Automatyczny projektant…”. Nauczyłam się za to zapisywać wybrane sieci neuronowe i otwierać je do ponownego uczenia

Badania w Statistice (”Statistica entertainment”;)

A oto i pierwsze mądre wnioski z badań - dotyczące… trybów pracy z SSN w Statistice

Zaczynałam od “Automatycznego projektanta” - taki odpowiednik łizarda, który na podstawie podanych parametrów (liczba opóźnień szeregu, liczba warstw i neuronów w warstwach ukrytych itd.)  przeszukuje w zadanym czasie lub dla zadanej liczby - przestrzeń topologii sieci. Dużą zaletą jest to, że pozwala wyrobić intuicję i wskazuje dalsze kierunki poszukiwań, a dużą wadą to, że wiele ważnych parametrów jest ukrytych, nie mamy kontroli nad procesem budowania modelu, czyli… “czarna skrzynka w czarnej skrzynce”

Dalej pracuje z projektami predykcyjnych modeli Data-Mining. Używam tam Automatycznego Projektanta jako obiektu, przy czym mam widok na model jako całość, mogę edytować kod , podłączać różne źródła danych i  podawać dane”do wdrożenia” (czyli do zastosowania na gotowym modelu).

Następnie wybraną sieć - zapisaną w pliku lub opisaną ręcznie -  analizuję szczegółowo w trybie “Projekt sieci użytkownika”. Tam widać wszystkie szczegóły, w tym nawet wagi poszczególnych krawędzi.

Oto moje wnioski po setkach (sic!) godzin pracy ze Statisticą - najlepszą z możliwych - metodą “trial&error”

PS: W kolejnym odcinku - zarys planu badań, czyli jakie hipotezy będę badać oraz jak pozyskiwać uran domowym sposobem…

more art than hard science

“The naïve approach to Data Mining in finance assumes that somebody can provide a cookbook instruction on “how to achieve the best result”. Some publications continue to foster this unjustified belief. In fact, the only realistic approach proven to be successful is providing comparisons between different methods showing their strengths and weaknesses relative to problem characteristics (problem ID) conceptually and leaving for user the selection of the method that likely fits the specific user problem circumstances. In essence this means clear understanding that Data Mining in general, and in finance specifically, is still more art than hard science.”

“It has been shown that the financial data are not random and that the efficient market hypothesis is merely a subset of a larger chaotic market hypothesis (Drake and Kim, 1997). This hypothesis does not exclude successful short term forecasting models for prediction of chaotic time series (Casdagli and Eubank, 1992).

Data Mining does not try to accept or reject the efficient market theory. Data Mining creates tools, which can be useful for discovering subtle short-term conditional patterns and trends in wide range of financial data. This means that retraining should be a permanent part of data mining in finance and any claim that a silver bullet trading has been found should be treated similarly to claims that a perpetuum mobile has been discovered.”

Data Mining and Knowledge Discovery Handbook by Oded Maimon and Lior Rokach

(source: http://www.books24×7.com/)

Nothing to add ;)

That’s how one of NN gurus recommends and describes neural network approach:

“multivariate nonlinear nonparametric inference technique that is data driven and model free.”

Azoff(1994)

JAM - just another mindmap;)

Application possibilities by P.Lula (Polish)

Currently studied… - Efstathios Kalyvas’ article

Using Neural Networks and Genetic Algorithms to Predict Stock Market Returns

please read through (or thoroughly - I’m very curious about your opinions…

please find enclosed…

 … my Master’s Thesis Seminar presentations:

Second seminar presentation

First seminar presentation

Thank’s for all who contributed in creating such a nice, ideas-generating and discussion -friendly atmosphere at our seminar

Currently studied… - FF tutorial and distributed parallel processing mechanism

After some doubts (Matlab? Statistica?) - coming back to Joone

http://www.jooneworld.com/wiki/tiki-index.php?page=FinancialForecastTutorial

And I came along the DTE - Distributed Training Environment idea, which essence is: ‘train once, run anywhere’ . I think it’s genius! Especially the possible application mentioned (here: http://www.jooneworld.com/docs/dte.html) - global optimization for Financial Forecasting! Can you imagine that?

The key words are: enhanced input and parameter selection, parallel training and committee of experts. Should you need further details - please find the link enclosed