Dağıtık mesajlaşma altyapısı kullanılarak büyük boyutlu verilerin gerçek zamanlı olarak işlenmesi

Basit Öğe Kaydı
dc.contributor.authorToprak, Ahmet
dc.contributor.authorZaim, Abdül Halim
dc.date.accessioned2021-05-03T14:07:03Z
dc.date.available2021-05-03T14:07:03Z
dc.date.issued2021en_US
dc.departmentFakülteler, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümüen_US
dc.description.abstractGünümüzde IoT (Internet of Things – Nesnelerin İnterneti) cihazların kullanımındaki artış beraberinde yüksek yoğunluklu ve farklı çeşitte verilerin oluşmasına sebep olmuştur. IoT cihazlarından toplanan bu verilerin formatları, şekilleri ve yoğunlukları birbirinden tamamen farklıdır. Bu verilerin anlık olarak işlenmesi ve ilgili kullanıcıya anlık olarak iletilmesi gerekmektedir. Bu makalede, IoT cihazlarından elde edilen verilerin işlenmesi ve son kullanıcıya anlık olarak iletilmesi amacıyla bir model tasarlanmıştır. Çalışmada öncelikli olarak IoT cihazlarından toplanan yapısal olmayan veriler veri ön işleme adımlarına tabi tutulmuştur. Veri ön işleme adımları sonrası elde edilen verilerden anlamlı kelimeler tespit edilmiştir. Bu amaçla TF-IDF (Term Frequency?-Inverse Document Frequency) metrikleri uygulanmıştır. Anlamlı kelime tespiti sonrası her anlamlı kelime konusuna göre verileri anlık işlemek amacıyla RabbitMQ dağıtık mesaj işleme kuyruğuna yönlendirilmiştir. Böylece mesajların iletilmesi garanti altına alınmıştır. RabbitMQ kuyruğuna iletilen mesajların anlık olarak alınması ve işlenmesi amacıyla Apache Storm topolojisi kullanılmıştır. Garantili mesaj işleme alt yapısı kullanan Apache Storm topolojisi, mesajları RabbitMQ dağıtık kuyruklama teknolojisi üzerinden okuyup, yapması gereken işlem ve hesaplamaları yaptıktan sonra çıktıları Elasticsearch içerisinde saklamıştır. Apache Storm topolojisi içerisinde üretilen sonuçlar daha sonra REST (Representational State Transfer) mimarisi kullanılarak son kullanıcı ile paylaşılmıştır.en_US
dc.description.abstractToday, the increase in the use of IoT (Internet of Things) devices has led to the formation of high density and different kinds of data. The formats, shapes and densities of this data collected from IoT devices are completely different from each other. This data needs to be processed instantaneously and transmitted instantly to the user concerned. In this article, a model is designed to process data obtained from IoT devices and transmit them to the end user instantly. In this study, non-structural data collected from IoT devices were subjected to data preprocessing steps. Significant words were determined from the data obtained after the data pre-processing steps. For this purpose, TF-IDF (Term Frequency?-Inverse Document Frequency) metrics were applied. After meaningful word detection, the subject of each meaningful word was redirected to the RabbitMQ distributed message processing queue to process the data instantly. This ensures that messages are delivered. Apache Storm topology is used to receive and process the messages transmitted to the RabbitMQ queue instantly. Using the guaranteed message processing infrastructure, the Apache Storm topology will read the messages through RabbitMQ distributed queuing technology and store the printouts in Elasticsearch after performing the necessary operations and calculations. The results generated in the Apache Storm topology will then be shared with the end user using the REST (Representational State Transfer) architectureen_US
dc.identifier.endpage52en_US
dc.identifier.issue1en_US
dc.identifier.startpage45en_US
dc.identifier.urihttps://hdl.handle.net/11467/4895
dc.identifier.volume4en_US
dc.language.isotren_US
dc.publisherMurat GÖKen_US
dc.relation.ispartofVeri Bilimien_US
dc.relation.publicationcategoryMakale - Ulusal Hakemli Dergi - Kurum Öğretim Elemanıen_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subjectNesnelerin İnternetien_US
dc.subjectBüyük Verien_US
dc.subjectRabbitMQen_US
dc.subjectTF-IDF Metriklerien_US
dc.subjectApache Stormen_US
dc.subjectInternet of Thingsen_US
dc.subjectBig Dataen_US
dc.subjectRabbitMQen_US
dc.subjectTF-IDF Metricsen_US
dc.subjectApache Stormen_US
dc.titleDağıtık mesajlaşma altyapısı kullanılarak büyük boyutlu verilerin gerçek zamanlı olarak işlenmesien_US
dc.title.alternativeReal-Time Processing of Large Data Using a Distributed Messaging Infrastructureen_US
dc.typeArticleen_US

Dosyalar

Orijinal paket
Listeleniyor 1 - 1 / 1
Küçük Resim
İsim:
1205971.pdf
Boyut:
633.4 KB
Biçim:
Adobe Portable Document Format
Açıklama:
İndir
Lisans paketi
Listeleniyor 1 - 1 / 1
Küçük Resim Yok
İsim:
license.txt
Boyut:
1.56 KB
Biçim:
Item-specific license agreed upon to submission
Açıklama:
İndir

Koleksiyon

Mühendislik Fakültesi, Bilgisayar Mühendisliği (İngilizce Destekli) Bölümü Koleksiyonu