Zaman Serileri ve İstatistiksel Yöntemler
Zaman serisi, zamana göre sıralanmış gözlem değerlerinden oluşan veridir. Zaman serisi verileri, farklı veya düzenli zaman aralıklarında kaydedilen bir dizi veri noktası veya gözlemdir. Kaydedilen veri noktalarının sıklığı saatlik, günlük, haftalık, aylık, üç aylık veya yıllık olabilir. Örnek olarak hava durumu, borsadaki bir hisse senedi değeri verilebilir. Zaman serilerinde birçok yöntem kullanılmakla birlikte temel amaç tahmin başarısı en iyi olan istatistiksel modeli tercih etmektir.
Zaman serileri üzerinde çalışmayı hedefleyen bir veri bilimci, zaman serilerinin doğasını iyi kavramalıdır. Öyle ki, bir zaman serisi ile karşılaştığında, bu seriyi tanımlayabilmeli ve anlamlandırabilmelidir. Veri bilimciler zaman serileri kapsamında bir takım tahminler gerçekleştirmek ister. Bu tahminler, geçmiş sonuçlara dayalı olarak bir zaman serisinin gelecekteki değerlerini tahmin etmek için istatistiksel bir model kullanma sürecidir. Zaman serisi analizini kullanan tahmin verileri, bilinen geçmiş sonuçlara dayanarak gelecekteki sonuçları tahmin etmek için bazı önemli modellerin kullanımını içerir.
Zaman serilerini anlamlandırma aşamasında kullanılan bazı kavramlar vardır:
- Durağanlık (Stationary)
- Trend
- Mevsimsellik (Seasonality)
- Döngüsellik (Cycle)
Bu kavramları tespit etme aşamasında kullanılan çeşitli istatistiki testlerin olmasının yanı sıra, veri bilimciler bir zaman serisi ile karşılaştığında sadece görsel inceleme ile de bu kavramları tanımlayabilir.
Durağanlık (Stationary)
Durağanlık bir serinin istatistiksel özelliklerinin zaman içerisinde değişmemesidir. Durağanlığı incelemek için bir takım istatistiki testler kullanmak gerekmektedir.
Bir zaman serisinin ortalaması, varyansı ve kovaryansı zaman boyunca sabit kalıyorsa, (veya istatistiki olarak çok ufak farklılıklara sahipse) serinin durağan olduğu ifade edilir.
Zaman serisi verilerinin yapısı belirli bir örüntüde olduğu durumlarda, kolay tahmin edilebilir olarak nitelendirilir. Bu kapsamda zaman serisinin istatistiki özellikleri değişmediği durumlarda, başka bir deyişle serinin durağan olduğu durumlarda, çeşitli zaman periyotlarındaki değerler daha kolay tahmin edilebilirdir. Bir seride durağan olmama durumu gözlemlendiyse, genellikle serinin belirli zaman periyotlarında farkı alınır ve seri durağan hale getirilir.
Trend
Trend bir zaman serisinin uzun vadedeki artış ya da azalışının gösterdiği yapıdır. Yatırım, ekonomi, iktisat ve birçok alanda trend kavramı farkındalığa sahip olunması gereken bir konudur.
Örnek olarak yukarıda verilen görselde aylara göre azalan bir trend görülmektedir. Genel olarak trend olan zaman serilerinde durağanlık olmadığı söylenebilir. Bunun temel sebeplerinden biri gözlem değerlerinin trend yönünde ortalamaların artması veya azalmasıdır. Durağanlık tanımı gereği bir serinin istatistiki değerlerinin zamana göre değişmemesi gerektiğinden dolayı genel olarak trend varlığı yapısı gereği durağanlıkla uyuşmayacaktır.
Mevsimsellik (Seasonality)
Zaman serisinin belirli bir davranışı belirli periyotlarla tekrar etmesi durumuna mevsimsellik denir.
Yukarıda verilen görselde, durağan olmayan, yukarı yönlü trende sahip, mevsimsellik içeren bir zaman serisi örnek verilmiştir.
Döngüsellik (Cycle)
Döngüsellik, mevsimselliğe benzer bir şekilde, tekrar eden düzenler barındırır. Farklı olarak mevsimsellik, daha belirgin, kısa vadeli ve düzenli aralıklarla (gün, hafta, mevsim, yıl gibi zamanlarla örtüşecek şekilde) gerçekleşir.
Döngüsellik ise daha uzun vadeli ve belirsiz yapılarda, gün/hafta/yıl gibi zaman aralıklarıyla örtüşmeyecek şekilde, daha çok yapısal nedenler ve konjonktürel değişimlerle (örneğin politikacıların ve iş dünyasındaki belirli kişilerin demeçleri ile) şekillenerek gerçekleşir.
Zaman serilerinde varsayımsal olarak, “bir zaman periyotundaki değer, en çok kendisinden bir önceki zaman periyotuna ait değerden etkilenir.” ifadesi yer alır. Bu varsayımdan yola çıkarak, bir zaman serisinde tahmin edilmek istenilen değerlere ilişkin, zaman serisinin mevsimsellik, döngüsellik ve durağanlık yapıları gözlemlenerek, önceki periyotlara ait ortalamalar belirli ağırlıklandırmalarla incelenerek sonuca varılır.
Hareketli Ortalamalar
Bir zaman serisinin gelecek değeri kendisinin k adet önceki değerinin ortalamasıdır.
Bir zaman serisi içerisinde bir t zamanındaki değer tahmin edilmek istenildiğinde, ilgili zaman periyodunda belirli adet önceki değerin ortalaması alınır. Bu metoda hareketli ortalama yöntemi denir.
Hareketli ortalama tekniği genellikle tahmin etme yöntemi yerine bir trendi yakalamak veya gözlemlemek için kullanılır. Veri bilimi özelikle makine öğrenmesi ve istatistiksel yöntemler kapsamında özellikler türetilirken (feature türetimi) hareketli ortalamaya dayalı özellik türetimi yapılır.
Hareketli ortalamalarda zaman periyotu genişlediğinde, değerlerin gidişatının daha doğru yakalaması ve temsil etmesi de daha geriden gelecektir.
Ağırlıklı Ortalamalar
Ağırlıklı ortalamalar genel olarak hareketli ortalamalara benzer şekilde hesaplanmakla birlikte tahmin edilecek değere yakın zaman periyotundaki gözlemlere ağırlık vererek hesaplama fikrini taşır.
Hareketli ortalamalar önceki değerler üzerinden hesaplanacağından ötürü temsili olacağı gelecek değerden, seri yapısı kapsamında geriden gelir. Bir zaman serisindeki gözlemler kendisinden en çok bir önce gelen değerden etkilenir varsayımından ötürü, zaman periyotunda geriye doğru gidilerek, daha önceki noktalardan tahmin edilmek istenilen nokta ile ilgili sonuçlar çıkarılmak istendiğinde, bu varsayım gereğince tahmin edilen değer, gerçek değerle oldukça farklı olacaktır. Bu sebeple temsil edilecek değere daha yakın olan önceki değerlere ağırlık verilerek hesaplama yapıldığı taktirde daha tutarlı tahmin sonuçları elde edilebilir.
Yukarıda verilen görselde incelendiği üzere ağırlıklı ortalamalar ile hareketli ortalamalar arasında yaklaşık olarak 7000 değerinde fark mevcut olmakla birlikte ağırlıklı ortalamalar gerçek değere daha yakın bir sonuç vermektedir.
Farklı bir bakış açısı olarak, zaman serisinde bir trend söz konusu olduğu durumlarda, seriye ait değerlerin kendi ağırlıklı ortalamalarının alınmasının yanı sıra, değerlerin arasındaki artış ve azalış yüzdelerinin hareketli ve ağırlıklı ortalamaları alınarak tahminlerde bulunulabilir.
Zaman Serilerinde Smoothing Yöntemleri
Smoothing kelime karşılığı olarak yumuşatma, düzeltme anlamı taşımaktadır. Smoothing başlığı altında bazı yöntemler kullanılarak zaman serilerinde düzeltmeler yapılmaktadır:
- Single Exponential Smoothing: (Tekil Üstel Düzeltme) Trend ve mevsimselliğin gözlemlenmediği durumlarda, yani yalnızca durağan serilerde kullanılır. SES kısaltmasıyla ve Simple Exponential Smoothing olarak da literatürde isimlendirildiği görülür. Bu yöntem durağan serilerde Levelı (serinin ortalaması gibi düşünülebilir) modeller.
- Double Exponential Smoothing: (Çift Üstel Düzeltme) SES yöntemine ek olarak serinin Trendini de modelleyebilir. Ancak SES ile benzer olarak mevsimselliği yakalayamamaktadır.
- Triple Exponential Smoothing: (Üçlü Üstel Düzeltme) Başka bir ismi ile Holt-Winters yöntemi Levelı, (yani serinin durağan kabul edilebilecek formundaki ortalama değerini), serinin barındırdığı Trendi ve Mevsimselliği yakalar. TES yöntemi, verilen üç smoothing yöntemleri arasındaki en gelişmiş yöntemdir.
Single Exponential Smoothing (SES)
SES yöntemi ağırlıklı ortalamanın genelleştirilmiş halini barındırır. Ağırlıklı ve Hareketli ortalamalar geçmiş değerlere odaklanarak ortalama hesaplanması üzerinden düzeltme işlemi (smoothing) yapar. Bu düzeltme işlemlerinin tahmin başarısı açısından kullanılabilir olduğu varsayımı sonucunda, bu yöntemlerin farklı faktörlerle beslenmek suretiyle genelleştirilmesi ihtiyacı ortaya çıkmıştır. Bu genelleştirme ihtiyacını gidermek adına Single Exponential Smoothing yöntemi kullanıma alınmıştır. Zaman periyodunun artmasıyla birlikte SES yönteminin formülasyonunda üstellik durumu söz konusu olacaktır.
SES yönteminde:
- Üssel düzeltme yaparak tahminde bulunulur.
- Gelecek değerler, yakın geçmişte gerçekleşmiş değerlerle daha fazla ilişkilidir varsayımıyla geçmişin etkileri ağırlıklandırılır.
- Geçmiş gerçek değerler ve geçmiş tahmin edilen değerlerin üssel olarak ağırlıklandırılmasıyla tahmin yapılır.
- Trend ve mevsimsellik içermeyen tek değişkenli zaman serileri için uygundur.
Verilen SES formülasyonunda sol taraf Learning olarak verilen kısım geçmiş gerçek değeri, sağ taraftaki Remembering olarak isimlendirilen kısım ise geçmiş tahmin edilen değeri temsil eder. Bu kapsamda Remembering tarafında geçmişte yapılan tahmin sonuçlarını da (yani geçmiş modelleme kabiliyetini de) tahmin modeline alfa değeri ile belirli bir ağırlık kullanarak dahil etmeye yararken, Learning kısmında ise geçmiş gerçek değer başka bir deyişle öğrenilen değer olarak alfa üzerinden belirlenen bir ağırlık ile modele dahil edilir. Bu kapsamda alfa dış parametresinin yani ağırlığın alacağı değer sonucunda geçmişten gelen gerçek değer ve tahmin edilen değer arasında ağırlıklandırılma ortaya konacaktır.
Verilen örnek zaman serisinde alfanın 0.3 ve 0.05 olduğu ağırlıklar sonucunda ortaya çıkan tahmin değerleri ile gerçek değerler verilmiştir.
- Bu kapsamda alfanın 0.3 olduğu durumda SES formülü üzerinde Learning kısmına yani geçmiş gerçek değere 0.3, dolayısıyla tahmin edilen Remembering kısmındaki geçmiş tahmin değerine 0.7 ağırlık verilmiştir.
- Alfanın 0.05 olduğu durumda ise, Learning kısmı 0.05 ağırlıkta iken Remembering kısmı 0.95 ağırlıkla, Learninge göre çok baskın bir yapıda kalmakla geçmiş tahminlere bir yapı kurulmuştur.
Sonuç olarak alfanın yüksek olduğu durumlarda öğrenme becerisine ağırlık verilirken, alfanın düşük olduğu durumlarda tahmin etme kabiliyetine ağırlık verilmiş olunur.
Double Exponential Smoothing
Double Exponential Smoothing yöntemi SES yöntemine ek olarak trendi de modelleyebilirdir.
Double Exponential Smoothing yöntemi:
- Trent etkisini göz önünde bulundurarak üssel düzeltme yapar.
- DES = Level(SES) + Trend olarak betimlenir.
- Temel yaklaşım SES ile aynı olmakla birlikte Trendi de içerir.
- Trend içeren ve mevsimsellik içermeyen tek değişkenli zaman serileri için uygundur.
Özetle bir zaman aralığının tahmini değeri icin bir önceki zaman aralığının Level ve trend bilgisi kullanılır. Bu kapsamda Level ve Trend bilgileri bulunurken, alfa ve beta olmak üzere Level Smoothing ve Trend Smoothing faktörleri işlemlere dahil edilerek Level ve Trend için düzeltmeler yapılır.
Bu kapsamda modeller kurulurken, serilerin toplamsal veya çarpımsal olması durumu gözlemlenebilir.
- Toplamsal Seri: y(t) = Level +Trend + Seasonality + Noise
Bir serinin toplamsal olması durumunda mevsimsellik ve artık bileşenler, trendden bağımsızdır. - Çarpımsal Seri: y(t) = Level * Trend * Seasonality * Noise
Seride mevsimsellik ve artık bileşenler eğer trende bağımlı olarak gözlemleniyorsa, yani trende göre şekillendiği gözlemleniyorsa seri çarpımsaldır denir.
Triple Exponential Smoothing (Holt-Winters)
Triple Exponential Smoothing yöntemi en gelişmiş smoothing yöntemi olarak Level (SES), Trend, Mevsimsellik modellemesi yapabilmektedir.
TES yöntemi dinamik olarak level, trend ve mevsimsellik etkilerini değerlendirerek tahmin yapmaktadır. Trend ve/veya mevsimsellik içerek tek değişkenli serilerde kullanılabilir. TES yönteminde tıpkı DES ve SES yöntemlerinde olduğu gibi Trend, Level ve Mevsimsellik bileşenleri için alfa, beta ve gamma ağırlıkları kullanılır.
Genel olarak SES, DES ve TES yöntemlerinin tamamına Holt-Winters dendiği görülebilir. Tüm yöntemleri bir arada incelemek amacıyla yukarıda verilen tabloda SES, DES ve TES yöntemlerinin modellemeleri kapsamında içerdikleri zaman serisi bileşenleri ve parametrelerini gözlemleyebiliriz.
Zaman Serilerinde İstatistiksel Yöntemler
İstatistiki metotlar kapsamında yaygın kullanılan bazı zaman seri modelleme yöntemleri vardır. Bu yöntemlerden birkaçını inceleyelim:
AR(p): Autoregression yöntemi
bir zaman serisi kendisinden önceki gecikmelerle tahmin edilir varsayımı üzerinden kullanılır. Trend ve mevsimsellik içermeyen tek değişkenli zaman serileri için uygundur.
AR(p) yönteminde, önceki zaman adımlarındaki gözlemlerin doğrusal bir kombinasyonu ile tahmin işlemleri yapılır. AR(p) modeli yukarıdaki görselde gözlemlenebileceği üzere p adet değişkenden oluşur. Buradaki p zaman gecikmesi parametresidir ve bu kapsamda p parametresi arttıkça, geçmiş gerçek değerler daha önceki zaman periyotları üzerinden modele doğrusal formda dahil olacaktır. Örneğin p=1 ise bir önceki zaman adımı ile model kurulmuş olacaktır.
MA(q): Moving Average Yöntemi
Ma(q) yönteminde önceki zaman adımlarında elde edilen hataların doğrusal bir kombinasyonu ile tahmin yapılır. Trend ve Mevsimsellik içermeyen tek değişkenli zaman serileri için uygundur.
Ma(q) modellerinde gözlemlenen € değerleri hataları yani hataları, q zaman gecikmesi sayısını temsil etmekle birlikte m değerleri ise bu hataların katsayılarını temsil eder.
ARMA(p,q): AutoRegressive Moving Average
ARMA(p,q) = AR(p) + MA(q) şeklinde AR ve MA modellerinin birleştirilmesiyle oluşturulur. Geçmiş gerçek değerler ve geçmiş hataların doğrusal bir kombinasyonu ile tahmini yapılır. Trend ve mevsimsellik içermeyen tek değişkenli zaman serileri için uygundur. p, AR modeli ve q, MA modeli için olmak üzere, p ve q zaman gecikmesi sayılarını ifade eder.
AR(p) modelinde geçmiş gerçek modeller varken, MA(q) modelinde geçmiş hatalar mevcuttur. Bu kapsamda AR(p) ve MA(q) modellerini bir araya getirdiğimiz takdirde SES yöntemine benzer bir model oluşur.
Farkları ise SES modelinde var olan iki terimin etkileri bir alfa değeri ile ağırlıklandırılıyordu dolayısıyla SES modelinde alfa değerine ciddi bir bağımlılığı söz konusuydu, ARMA(p,q) modelinde ise doğrusal bir formda bulunan geçmiş gerçek değerler ve tahmin edilen değerler üzerinden oluşturulan artık değişkenler için, geçmiş gerçek değerlerin katsayısı ve tahmin edilen değerler üzerinden oluşturulan artık değişkenin katsayısı birbirinden bağımsızdır.
Özetle Holt-winters yöntemlerinde terimler bir parametreye göre şekillenirken, ARMA modellerinde terimlerin kendilerine ait katsayıları vardır. Bu katı sayıların bulunması çabasına efor sarf edilir. Veri doğrusal bir formda modellenir ve oluşturulan bu model neticesinde, verinin özü öğrenilir.
Holt-Winters yönteminde alfalara dışarıdan verilen değerler üzerinden denemeler gerçekleştirilirken, ARMA yöntemlerinde ise modellerin içinde yer alan geçmiş gerçek değerler ve hatalara ilişkin katsayılar ise model aracılığıyla veriden bulunuyor olacaktır.
ARIMA(p,d,q): Autoregressive Intregrated Moving Average
ARIMA(p,d,q) modelinde, önceki zaman adımlarındaki farkı alınmış gözlemlerin ve hataların doğrusal bir kombinasyonu ile tahmin işlemi yapılır. Bir seriyi durağanlaştırıldığında daha başarılı tahminler yapabilebileceği varsayılır. Bu kapsamda ARIMA yöntemi otomatik bir şekilde fark alma işlemi gerçekleştirerek seriyi durağanlaştırır. Fark alma işlemine örnek olarak, bir zaman aralığındaki değer ile bir önceki zaman aralığındaki değerin farkının alınması verilebilir. Bu kapsamda ARIMA modeli, tek değişkenli, trendi olan fakat mevsimselliği olmayan veriler için uygundur.
p değeri, geçmiş gerçek değer gecikme sayısını (otoregresif derece), d değeri fark alma sayısını(fark derecesi), q değeri ise artıklardaki gecikme sayısını başka bir deyişle hata gecikme gecikme sayısını (hareketli ortalama derecesini) ifade eder.
SARIMA(p,d,q)(P,D,Q)m: Seasonal Autoregressive Integrated Moving-Average
SARIMA yöntemi temelde ARIMA+mevsimsellik olarak betimlenebilir. Trend ve/veya Mevsimsellik içeren tek değişkenli serilerde kullanılabilir.
- (p,d,q) ifadeleri ARIMA’dan gelen ifadeler olmak üzere Trend elemanlarıdır. ARIMA trend’i modelleyebilmekte ama mevsimsellik konusunda zayıf kalmaktaydı.
- (P,D,Q) ise SARIMA’a ait olan mevsimsel gecikme sayıları olarak, başka bir deyişle Seasonal elemanlar olarak betimlenir.
- m değeri ise tek bir mevsimlik dönem için zaman adımı sayısı olmakla birlikte Mevsimselliğin görülme yapısını ifade eder.
Dışsal Regresörler (SARIMAX) ile Mevsimsel Otoregresif Entegre Hareketli Ortalama
Mevsimsel Otoregresif Entegre Hareketli-Ortalama Dışsal Regresyonlarla (SARIMAX), dışsal değişkenlerin modellenmesini de içeren SARIMA modelinin bir uzantısıdır. SARIMAX yöntemi aynı zamanda, ARX, MAX, ARMAX ve ARIMAX gibi dışsal değişkenlerle kapsanan modelleri modellemek için de kullanılabilir. Yöntem, trend ve/veya mevsimsel bileşenlere ve dışsal değişkenlere sahip tek değişkenli zaman serileri için uygundur.
Vektör Otoregresyon Hareketli-Ortalama (VARMA)
Vektör Otoregresyon Hareketli Ortalama (VARMA) yöntemi, bir ARMA modeli kullanarak her zaman serisindeki bir sonraki adımı modeller. ARMA’nın çoklu paralel zaman serilerine genelleştirilmesidir, örn. çok değişkenli zaman serileri. Yöntem, trend ve mevsimsel bileşenleri olmayan çok değişkenli zaman serileri için uygundur.
Dışsal Regresörler (VARMAX) ile Vektör Otoregresyon Hareketli-Ortalama
Dışsal Regresörlü Vektör Otoregresyon Hareketli-Ortalama (VARMAX), VARMA modelinin dışsal değişkenlerin modellenmesini de içeren bir uzantısıdır. ARMAX yönteminin çok değişkenli bir versiyonudur.
Zaman serilerindeki yaygın kullanılan istatistiksel metotları tek bir tabloda özetleyelim:
Zaman serisi analizi ve modellemesi, birçok farklı sektörde karar verme süreçlerini etkileyen önemli bir araçtır. Hava durumunun tahmininden, hisse senedi fiyatlarına kadar bir dizi farklı durumda zaman serisi analizi kullanılır. Bu yazıda incelenen teknikler, veri bilimcilerin geçmiş verileri kullanarak gelecekteki değerleri tahmin etmelerine yardımcı olmaktadır. Her teknik, belirli bir tür zaman serisi verisine uygundur ve her birinin avantajları ve sınırlamaları vardır. En iyi sonuçlar, genellikle veri setine en uygun olan modelin seçilmesi ve düzgün bir şekilde uygulanmasıyla elde edilir.
Zaman serilerinin analizi, birçok farklı disiplinde önemli bir rol oynamaktadır ve burada tartışılan teknikler, bu alandaki en yaygın ve etkili yöntemlerden sadece birkaçıdır. İstatistiksel tahmin, gerçek dünyadaki belirsizlikleri azaltmanın ana yollarından biri olduğu için, bu tekniklerin etkin bir şekilde kullanılması son derece önemlidir. Veri bilimciler ve istatistikçiler zaman serisi analizini ve modellemesini, belirli bir durumda en doğru ve güvenilir tahminleri elde etmek için kullanırlar. Her ne kadar bu yazıda geniş bir yelpazede teknikler ele alınmış olsa da, zaman serisi analizindeki ilerlemeler ve yeni teknikler sürekli olarak geliştirilmektedir. Bu nedenle, güncel kalmak ve yeni araştırmaları takip etmek önemlidir. Bu, tahmin başarısını artırabilir ve karar verme süreçlerini daha etkili hale getirebilir.
