資料探勘

隨著全球產業、更多數位環境和大量資料儲存有價值的資訊，資料探勘變得越來越重要。我們都知道我們的資料很有價值，但組織如何利用這些資料獲得可行的見解、在問題發生之前預防問題，並做出明智的業務決策？ 加入美光，一起探索什麼是資料探勘，以及如何將資料應用於各個產業。

什麼是資料探勘？

資料探勘定義：資料探勘是分析大量資料、識別模式和分類，以及使用結果瞭解資料集或產生新資料的過程。

資料探勘建立在資料倉儲的基礎上，使用機器學習和資料分類技術從儲存的資料中「挖掘」資訊。它是資料庫或 KDD 知識探索的關鍵要素，強調從大型資料集擷取有價值的資訊。

資料探勘通常以兩種方式之一進行：分類和描述資料或進行預測。在這兩種應用中，資料都會經過系統化的流程，進行組織、篩選、分類和分析。資料通常透過機器學習演算法傳遞，以強化此流程。

資料探勘如何運作？

資料探勘旨在從大量資料中擷取資訊、預測、分析和分類。為此，它使用演算法來識別資料中的趨勢和模式。透過這些模式，資料可以分類、分析，甚至用於做出預測。 

資料探勘有四個核心步驟： 

• 資料收集：找出並收集專案將探勘的組織與專案間不同的資料。可能來自不同來源、位於分析系統中，或可從資料倉儲取得。 
• 資料準備：來自不同來源的資料通常需要以格式對齊，以便進行一致的分析。此步驟也會清理資料並解決錯誤。所有這些清理都確保了一致的功能資料集。 
• 資料探勘：資料科學家透過一個或多個演算法執行資料，以挖掘資料集。選擇資料探勘方法的程序會因想要的結果和專案資源而有所不同。 
• 資料分析：徹底分析資料探勘過程的結果，以最大化探索。資料科學家可以利用分類和分析的資料呈現發現並得出結論。 

資料探勘的歷史為何？

資料探勘原本是手動流程，人們會分析資訊以獲得見解。作為手動流程，它預告了現在為人工智慧（AI）和機器學習技術奠定基礎。 

• 1960 年代，自動化：最初是手動流程，之後才開發出自動化流程。資料探勘的基礎始於 1960 年代先進運算的出現。 
• 1989 年，KDD：1980 年代末期，資料庫的知識探索率先於資料探勘，成為自動化運算流程。 
• 1990 年代，資料探勘開發：在 1990 年代，隨著資料分析技術和機器學習發展的興起，資料探勘成為技術創新的動力。 
• 1990 年代後期，獎學金和興趣的發展：1995 年，蒙特婁舉辦了第一個關於知識探索和資料探勘的國際會議，這標誌著對資料探勘的學術興趣成長。 
• 2010 年以後，更仰賴資料探勘：自 2010 年代以來，人工智慧迅速成為主要技術的基本部分。這種演變也讓資料探勘變得越來越重要。透過簡化的自動化流程對大量資料進行分類、分析和儲存，人工智慧技術可以更有效地工作。 

資料探勘的關鍵類型有哪些？

根據資料探勘專案可能具備的不同目標，資料探勘通常可定義為「描述性」或「預測性」。但是還有其他類型的資料探勘： 

• 異常偵測可辨識資料集內的異常資料。 
• 關聯規則學習探索個別資料之間的關係，以更好地理解和分析它們。 
• 僅基於資料對資料進行聚集分組，無需上下文。 
• 分類會取得輸入標籤並將其套用至資料以進行分類。 
• 迴歸根據其可以從資料中理解的內容建立標籤。 
• 摘要將資料精簡為核心資訊。

如何使用資料探勘？

資料探勘可應用於各產業。如今，隨著廣泛的產業仰賴複雜的全球連結，大量的資料是各種企業的基礎，因此需要謹慎的處理和分析。 

資料探勘的一個關鍵例子是使用感測器透過分類偵測異常情況。由於所有資料均經過妥善分類，資料探勘能加快、自動化並確保檢查錯誤、錯處和異常時的準確性。這種異常資料很明顯，可以輕鬆識別和/或移除、簡化和增強資料分析。突出顯示異常資料有助於尋找欺詐性資料、在社交媒體網站上識別機器人，或準確定位產品缺陷。 

資料探勘也可以建立模型並識別風險、缺陷和潛在問題。例如，在金融服務業，資料探勘工具用於識別安全風險並偵測詐欺。同樣的原則也適用於網路安全，透過代表性資料識別實際風險。 

資料探勘也可以偵測汽車產業的風險、問題和推動創新。事實上，這是訓練先進駕駛輔助系統（ADAS）的關鍵步驟，這是自動駕駛車輛領域日益受到關注的領域。