Büyük veri, artan hacimlerde ve her zamankinden daha yüksek hıza ulaşan daha fazla çeşitlilik içeren verilerdir. Üç Vs olarak bilinir.
Basitçe söylemek gerekirse, büyük veri (big data), özellikle yeni veri kaynaklarından daha büyük, daha karmaşık veri kümeleridir. Bu veri setleri o kadar hacimlidir ki, geleneksel veri işleme yazılımı bunları yönetemez. Ancak bu büyük hacimli veriler, daha önce başaramayacağınız iş problemlerini çözmek için kullanılabilir.
Big data için birçok tanım olsa da, büyük verilerin genellikle “3 V’s” (Volume Variety Velocity) olarak bilinen kavramını içerir:
Volume (Hacim): Terabayttan petabaytlara kadar olan veri aralıkları.
Variety (Çeşitlilik): Çok çeşitli kaynaklardan ve biçimlerden veri içerir (ör; Web günlükleri, sosyal medya etkileşimleri, e-ticaret ve çevrimiçi işlemler, finansal işlemler, vb.)
Velocity (Hız): Giderek artan bir şekilde, işletmelerin zaman verilerinin üretilmesinden, kullanıcılara uygulanabilecek zamana kadar içgörüler sunulmaktadır. Bu nedenle, verilerin nispeten kısa pencerelerde toplanması, saklanması, işlenmesi ve analiz edilmesi gerekir – günlükten gerçek zamana kadar.
Big Data Nasıl Çalışır?
Big Data, herhangi bir şey ya da herhangi bir durum hakkında ne kadar çok şey bildiğinizle ilgili olarak, daha güvenilir bir şekilde yeni kavrayışlar kazanabileceğinizi ve gelecekte ne olacağı konusunda tahminlerde bulunabileceğinizi ilke edinir.
Daha fazla veri noktasını karşılaştırarak, ilişkiler önceden gizlenmiş olarak ortaya çıkmaya başlar ve bu ilişkiler öğrenmemizi ve daha akıllı kararlar almamızı sağlar. En yaygın olarak, bu, toplayabileceğimiz verilere dayanarak yapı modelleri içeren bir işlemle yapılır ve daha sonra simülasyonlar çalıştırır, her seferinde veri noktalarının değerini değiştirir ve sonuçlarımızı nasıl etkilediğini izler.
Bu süreç otomatiktir – günümüzün gelişmiş analitik teknolojisi milyonlarca simülasyonu çalıştırarak, üzerinde çalıştığı problemi çözmeye yardımcı olan bir model veya bir kavrayış bulana kadar tüm olası değişkenleri ayarlayacaktır.
Nispeten yakın zamana kadar, veriler elektronik tablolar veya veritabanları ile sınırlıydı – ve hepsi çok düzenliydi. Ancak, depolama ve analitik alanındaki ilerlemeler, birçok farklı türde veriyi yakalayabildiğimiz, depolayabildiğimiz ve çalışabileceğimiz anlamına gelir. Sonuç olarak, “veri” artık veritabanlarından fotoğraflara, videolara, ses kayıtlarına, yazılı metin ve sensör verilerine kadar her şeyi ifade edebilir.
Tüm bu karmaşık verileri anlamak için, büyük veri projeleri genellikle yapay zeka ve makine öğrenimini içeren en son analitiği kullanır.
Büyük Veri Nasıl Kullanılır?
Büyük Veri; sürekli büyüyen sensör bilgisi, fotoğraflar, metin, ses, video ve artık verileri birkaç yıl önce bile mümkün olmayan şekillerde kullanabileceğimiz anlamına geliyor. Bu, neredeyse her sektörde iş dünyasında devrim yaratan bir çağın başlangıcını da ifade ediyor. Şirketler artık müşterilerin belirli segmentlerini ne zaman satın almak isteyeceklerini bu sayede bilebiliyor. Big data ayrıca şirketlerin operasyonlarını çok daha verimli bir şekilde yürütmelerine yardımcı oluyor.
İş dışında bile big data projeleri, dünyamızı çeşitli şekillerde değiştirmeye yardımcı oluyor:
Sağlık hizmetlerinin iyileştirilmesi: Veriye dayalı tıp, hastalığın erken teşhisinde ve yeni ilaçların geliştirilmesinde yardımcı olabilecek çok sayıda tıbbi kayıt ve görüntülerin analizini içerir.
Doğal ve insan kaynaklı felaketleri tahmin etmek ve yanıtlamak: Deprem verileri, depremlerin bir sonraki aşamada muhtemel olduğunu tahmin etmek için analiz edilebilir ve insan davranış kalıpları, kuruluşların hayatta kalanlara ne yapabileceğine dair bilgileri edinmesine yardımcı olur. Ayrıca Büyük Veri teknolojisi, mültecilerin dünyadaki savaş alanlarından uzakta akışını izlemek ve korumak için de kullanılır.
Suçun önlenmesi: Polis güçleri, kaynakları daha verimli bir şekilde dağıtmak ve ihtiyaç duyulduğunda caydırıcı olmak için kendi istihbaratı ve kamu veri setlerine dayanan veri güdümlü stratejileri giderek daha fazla benimsiyor.
Büyük Veri Kaygıları
Büyük Veri bize daha önce görülmemiş bir anlayış ve fırsat sunuyor, ancak aynı zamanda ele alınması gereken endişeleri ve soruları da gündeme getiriyor:
Veri Gizliliği: Şimdi oluşturduğumuz Büyük Veri, kişisel yaşamlarımız hakkında birçok bilgiyi içeriyor. Giderek, açığa çıkardığımız kişisel veri miktarı ile Big Data tarafından desteklenen uygulamaların ve hizmetlerin sunduğu rahatlık arasında bir denge kurmamız isteniyor.
Veri Güvenliği: Verilerin belirli bir amaç için tutulduğunu bilmek güven verse bile, onları güvenliğinden ne kadar emin olabilir?
Veri Ayırımcılığı: Her şey bilindiğinde, hayatlarında sahip olduğumuz verilere dayanarak insanlara karşı ayrımcılık yapmak kabul edilebilir mi? Kimlerin kredi alabileceğine karar vermek için kredi puanlama kullanıyoruz ve sigorta yoğun bir şekilde veriye dayanıyor. Daha ayrıntılı bir şekilde analiz edilmesini ve değerlendirilmesini bekleyebiliriz ve bunun daha az kaynak ve bilgiye erişimi olan kişiler için hayatı daha zor hale getirecek şekilde yapılmadığına dikkat edilmelidir.
Bu zorluklarla yüzleşmek, büyük verinin önemli bir parçasıdır ve veriden yararlanmak isteyen kuruluşlar tarafından ele alınmalıdır. Bunu yapmamak, işletmeleri sadece itibarı açısından değil, yasal ve mâli açıdan da savunmasız bırakabilir.
Big Data Eşliğinde Geleceğe bakmak
Veriler, dünyamızı ve yaşama tarzını daha önce görülmemiş bir oranda değiştirmektedir. Big Data bugün bunlardan her şeye yetiyorsa; sadece yarın neler yapabileceğini hayal edin. Kullanılabilir olan veri miktarı sadece artacak ve analitik teknolojisi daha da ileriye taşınacaktır.
İşletmeler için, büyük veriden yararlanabilme yeteneği önümüzdeki yıllarda giderek daha kritik hale gelecektir. Verileri stratejik bir varlık olarak gören şirketler, hayatta kalacak ve gelişecek olanlardır. Bu devrimi göz ardı edenler rekabette ayak uyduramamaktadırlar.
