Išsiskiriančių reikšmių nustatymas duomenyse apie Lietuvos užsienio prekybą

Lietuvos užsienio prekybos statistinės informacijos vartotojai turi aukštus reikalavimus šių duomenų kokybei. Todėl iš respondentų gauti duomenys prieš juos skelbiant yra tikrinami Statistikos departamento Užsienio prekybos skyriaus darbuotojais. Kadangi informacija iš respondentų yra gaunama kas mėnesį dideliais kiekiais, neįmanoma patikrinti kiekvieno įrašo. Taigi yra įdiegta nemažai kontrolių įvairių rūšių klaidų nustatymui. Siekiant gerinti duomenų kokybę ir užtikrinti kuo didesnį klaidų nustatymo procentą, kontrolių skaičius yra didinamas. Šio darbo tikslas – išbandyti išsiskiriančių reikšmių nustatymo metodą duomenims apie Lietuvos užsienio prekybą, išanalizuoti rezultatus ir ateityje gal būt paversti tai dar viena kontrole. Pasirinkto metodo išsiskiriančioms reikšmėms nustatyti esminė idėja – parinkti regresijos modelį naudojantis Mažiausių kvadratų metodu (toliau - MKM), apskačiuoti prognozės intervalą ir pažymėti reikšmes, kurios į jį nepatenka. Kadangi MKM reikalauja atsižvelgti į tam tikras prielaidas, duomenys buvo tikrinami testais, ir, jeigu prielaidos nebuvo tenkinamos, išsiskiriančių reikšmių nustatymui buvo rekomenduojama naudoti alternatyvųjį metodą. Išbandžius pasiūlytą metodiką, gavus rezultatus ir juos išanalizavus, gautos tokios išvados: • Išsiskiriančios reikšmės yra nustatomos geriau, kai nenaudojami svoriai. • Modelio pataisymas autokoreliacijos atžvilgiu neįtakoja rezultatų ir be to neturi prasmės. • Laiko eilutėse, kurios tenkina MKM prielaidas... [toliau žr. visą tekstą]

Most of the users of foreign trade statistics have high requirements concerning data quality and speediness of deliver. Unfortunately these two requirements often conflict and it is impossible to check every observation. That‘s why there are number of quality controls of the data implemented concerning credibility and validity checks in order to focus on the most outlying observation and revice them. The objective of this work was to test the outliers’ detection metodology which was developed by Eurostat, to analize rezults and perhaps to turn it a new control in the Foreign Trade Statistics Division of Statistics Lithuania. The initial idea of Eurostat methodology to detect ouliers was to calculate a regression line by using the ordinary least squares (OLS) method to calculate by inference a prediction interval and to flag all observations that lie outside this interval. As the OLS method requires respecting some assumtions if these assumptions were violated, the OLS method was violated it was proposed to switch to an alternative method which was applied to those time series for which the OLS method was not possible. Before calculating the upper and lower limits for detecting outliers it was proposed to use a weighted least squares regression as well in order to get rid of the possible outlying observations that could appear in the data. The step with recalculating the weights and the regression model had to be repeated three times. Afterwards it was proposed to use an... [to full text]