第 7 章:人工智慧
此章節主要介紹 SAS 平台如何落實人工智慧的應用
基本介紹
首先人工智慧一詞指的是透過學習和自動化,訓練系統模擬人類工作的科學,而 SAS 主要能夠提供企業客戶部署人工智慧平台,將能夠以自動化流程管理任何已開發的機器學習模型,不論是 Python、R 或 SAS 所開發的機器學習模型皆能夠在 SAS Viya 人工智慧平台端至端的自動化部署和維運管理。SAS 創辦人 Jim Goodnight 曾說:「多年來,AI 一直是 SAS 軟體不可或缺的一部分。現在,我們協助每個產業中的客戶充分善用 AI 技術的進展;我們也會繼續在 SAS 產品組合的各種解決方案中,內建機器學習和深度學習等 AI 技術。」,並且在 2019 年 SAS 除了基於對於數據科學家使用者非常重要的解決方案 SAS Visual Data Mining and Machine Learning 和 SAS Enterprise Miner,皆為使使用者提供解決複雜分析問題的能力,從而推動了更好的決策,而連續被評為 Gartner 資料科學和機器學習平台的領導者,所謂機器學習是現代數據科學家工具箱中的一個重要工具,其允許企業組織快速識別出商業機會,同時也避免人類不會注意到的風險。此外 SAS 更基於視覺的完整性和執行能力,而連續被評為 Gartner 資料品質工具魔力像限的領導者,當企業需要成功的進行數位轉型和導入工智慧專案計劃的基礎就會需要高品量的資料,企業需要信任其分析流程所提供資料,並且實施資料治理政策,以利實現更快的實現價值,至於 SAS 則將資料品質建立至任何解決方案的各個方面,以利讓企業透過 SAS 建立可重複的流程來構建和維護高品量的資料,並且更進一步輕鬆地做出最適當的商業決策。
接著人工智慧的核心主要是如何透過機器學習從非常複雜的資料中獲得理解的邏輯和理由,簡單地說,機器透過識別模式和關係從中讓資料進行學習,同時擷取大量資訊,提取關鍵特徵,並且確定分析方法,撰寫程式碼來執行分析,以利產生輸出,更重要的是全部過程理應將會在單一人工智慧平台上自動化完成,而 SAS 對於人工智慧主要提供四大技術,分別為:
機器學習:主要透過機器學習與深度學習技術可找出資料中隱藏的深入洞察,不需明確指示如何進行搜尋或得出結論,同時透遇直覺式機器學習工具,可提供更理想的建議,協助制定出更快速和更明智的決策。
自然語言處理:主要透過自然語言處理技術讓人類與機器之間能夠相互了解、進行互動和溝通,並且從大量的結構化和非結構化內容,自動擷取關鍵的業務洞察和新興的趨勢。
電腦視覺:主要透過電腦視覺技術分析和解讀圖像或影片中的內容,並且協助我們使用簡單的工具,來進行串流影像處理、影像辨識和物體偵測,進而加速智慧自動化。
預測與最佳化:主要透過預測技術將能夠協助我們預測未來的結果,以及最佳化技術可讓我們在資源的限制之下,採取能夠獲取最佳結果的行動,SAS 支援所有階段的預測與最佳化工作流程,可進行大規模的自動化作業,來預測結果和制定最佳決策。
雖然許多企業已經許多的商業分析師、資料工程師、資料科學家、機器學習專家建立機器學習、自然語言處理、電腦視覺和預測與最佳化的模型,但是所有模型皆可被解釋和可被信任嗎?這些應用於人工智慧的模型如同一個黑箱,我們輸入資料並且得出結果,但是不知道輸入和輸出之間的關聯,這將會是一項最根本的挑戰,將會攸關法規遵循乃至於客戶體驗等一切層面,甚至會影響我們檢驗模型偏差的方式,此時 SAS 人工智慧平台就能夠提供企業客戶模型對於輸入項的變數有何回應,並且據此調整、釐清黑箱內部的運作,像是 Partial Dependence (PD)、Individual Conditional Expectation (ICE) 以及 Local Interpretable Model-Agnostic Explanations (LIME) 等模型解釋的技術,以利企業客戶針對現有已開發模型逐步改善為透明、可解釋和可信任的模型。
再來不同的產業中的企業要如何應用人工智慧技術使用資料來解決問題呢?我們先將產業定義為常見的五大產業,並且針對不同產業可能需要解決的商業問題,分別為:
金融:理財機器人推薦符合客戶需求的理財建議、詐欺偵測、信用評估、風險市場分析、… 等。
政府:智慧城市現代化管理地方資源、傳感器整合、臉部識別、水資源管理、食物安全、… 等。
製造:生產線即時監控自動檢測瑕疵、提供回饋供應鏈優化、自動化流程控制、預測性維護、… 等。
零售:了解客戶以利進行個人化推薦商品、改進的聊天機器人功能、… 等。
醫療:處理過去案例說明以利推估預測診斷和改善患者護理的時間、生物醫學影像辨識、健康監測、… 等。
然而當不同產業的企業採用人工智慧技術解決商業問題之後,絕大多數的企業主要會預期有更精確的預測和決策、提升客戶的開發成效和提高組織生產力。此外 SAS 更鼓勵以有意義的方式使用資料來解決有關貧困,健康,人權,教育和環境的人道主義問題,從預防危及生命的疾病到保護瀕危物種再到自然災害後重建,全球各組織正在利用數據發揮作用。為社會利益應用數據已經為解決全球問題帶來了新的創造性方法,像是與 WildTrack 合作藉由分析動物的足跡,來找出和監控瀕危物種,發掘世界各地群眾外包所提供的足跡資料,以利協助找到全球保育問題的答案。
最後如果企業要部署端至端的人工智慧平台,則更需要整合開發、探索和決策的自動化部署,開發人員和資訊人員之間必須要有凝聚力,以利以確保模型能夠即時投入正式環境,如果不能投入正式環境運作,那麼人工智慧的模型就沒有價值,此外如果業務單位需要資訊單位協助部署 SAS Viya 人工智慧平台時,則資訊單位能夠支援的最佳實務是什麼呢?其中主要有五大項,分別為:
促進流程:建立穩建流程,定義審核人工智慧技術的產出結果,建立開放且敏捷的人工智慧平台。
注重道德:了解違反人工智慧使用倫理規範所沙及的風險,必須為人工智慧技術的產出結果負責。
關聯分析:資料導向分析流程的成熟程度將會是影響推動人工智慧的學習和自動化的關鍵。
建立信任:不要使用黑箱的模型技術,並且能夠以符合倫理的方式使用人工智慧。
參與監督:確保人工智慧的模型技術透明和可解釋性,並且定義審查人工智慧的產出結果和複雜的商業流程,尤其在可能發生多種意外事件和潛在故障點的領域。
總結 SAS 主要能夠提供企業客戶部署人工智慧平台,將能夠以自動化流程管理任何已開發的機器學習模型,不論是 Python、R 或 SAS 所開發的機器學習模型皆能夠在 SAS Viya 人工智慧平台端至端的自動化部署和維運管理,以利不同產業的企業客戶在 SAS Viya 人工智慧平台上建立適當的解決方案,以利解決商業、貧困,健康,人權,教育和環境的人道主義等關鍵問題,至於目前已經有哪些採用 SAS Viya 人工智慧平台的客戶案例,請參考官方網站的人工智慧主題相關案例的介紹。
分析平台
首先要如何將分析變為現實,根據 McKinsey Analytics 主要提到從問題的特定專業知識到戰略設計,建立,實作,能力建立和持續支援的整體轉型,以迭代式端到端方法開始於確定機會,並且最終廣泛採用新的工作方式,同時確保基礎技術和組織模型針對每個客戶的特定需求進行優化,但是許多企業組織在執行分析計劃時失敗,因為沒有建立將新分析功能內建其業務流程所需的技能和文化,至於所提供的方法主要有五大部份,分別為:
識別新業務價值的來源:每個分析專案主要是從識別分析驅動的收入增長和績效改進的具體機會開始,然後根據廣泛的潛在解決方案製定計劃。
擴展資料生態系統:建立廣泛的資料生態系統主要評估客戶組織內外可用的資料來源,並且使用物聯網和智慧傳感器等經濟實惠的技術建立新資料。
為可被信任的洞察建立模型:整合的客戶服務團隊中工作主要讓數據科學家選擇最佳模型和方法,從基本預測到進階的機器學習,然後針對特定客戶情況客製化開發和持續改善,並且深入應用功能和產業知識。
整合使用者友好的工具:確保開發的工具允許不同職責的使用者直觀地存取資料,並且進行新發現,以及從提供行動視覺化技術和強大的自助服務環境開始,更進一步幫助客戶建立文化和促進創新。
管理採用:幫助客戶了解這些新工具的工作原理,使客戶能夠始終如一地使用它我們提前協作方式溝通模型的效能,並且大力投資於整個組織的人員培訓,透過努力確保他們擁有正確的資料治理策略,將有助於培養對資料品量和最終見解的信任。
此外在落實過程中還需要創建技術和基礎設施和優化組織和治理,不論是軟體工程師,數據工程師,科學家,視覺化專家和顧問團隊皆能夠在現有環境中工作,也能夠在雲端平台上工作,並且建立 IT 架構,資料治理和組織功能,以利獲取大數據和進階分析的潛力,同時確保在整個組織中無縫地採用分析。
接著為了在企業組織中落實營運分析,以利讓企業組織能夠在分析經濟中進行競爭,此時需要選擇分析平台,其不會限制選項,同時確保適當的控管措施,然而分析平台需要為不同的工具,程式和資料所造成的混亂帶來有秩序的管理和整個分析生命週期中使用的技術,而 SAS 所提供的分析平台就能夠滿足了這一需求,以完美的平衡協調分析之旅的選擇和控制,並且能夠加速分析生命週期,所以每個人皆能夠在最短時間內進行協作和創新。其中所謂選擇主要是組織需要有選擇語言、工具、資料和技術的自由環境,因為這是推動創新的關鍵因素,從傳統應用程式到串流資料的任何資料來源至影像獲取價值,有許多程式語言能夠達到目的,所以沒有理由讓平台限制存取,同時每個人都有不同技能和喜好,無論是 Python、R 或 SAS,分析師應該能夠在一個治理的環境中自由選擇最適合他們的方法,以利使用最新的分析技術進行機器學習、深度學習和自然語言處理和預測,並且透過部署在企業組織環境中應用新發現的見解,而所謂控制主要是需要適當的控制來提供對分析的信任,企業組織需要可被信任的資料,以利獲得準確的結果,至於 SAS 所提供的分析平台就能夠提供完整的控管方式,分別為:
安全隱私 (Security & Privacy):主要提供身份驗證、授權、加密和稽核等關鍵控管功能,將能夠避免遭受網路攻擊和個人隱私資訊外洩。
資料治理 (Data Governance):主要能夠透過資料準備提高資料品質、資料處理歷程和資料權限控管確保了透明度,信任和保護資料資產。
模型治理 (Model Governance):主要針對模型進行記錄,版本控制和整合,並且透過程序和規則進行管理確保輕鬆完成建立模型的部署工作,開發一次就能夠在幾分鐘內進行改善、更新和部署模型,而不是幾週或幾個月,以利根據最新資料獲得快速洞察。
再來企業組織在過去針對分析應用主要會導入應用報表、儀表板、視覺化、… 等技術的商業智慧 (Business intelligence,BI) 系統,其用於描述性分析回答發生什麼?而現今企業組織主要會導入應用資料探勘、統計分析、機器學習、深度學習、電腦視覺、自然語言、預測優化、…等技術的人工智慧 (Artificial Intelligence,AI) 系統,其用於預測性分析和指示性分析,以利讓企業組織透過資料了解下一步決策行動為何?而要如何落實資料驅動的決策,主要有四個階段,分別為:
觀察 (Observe):主要識別雜訊中的訊號,包括監控關鍵營運指標和潛在風險指標。
定位 (Orient):主要分析和綜合資訊,根據外部的環境因素評估影響。
決定 (Decide):主要決定最佳的行動,決定是否由即將發生的風險不採取行動。
行動 (Act):主要執行已識別的行動,持續向操作人員發送嚴重警報資訊。
此時在不同階段 SAS 所提供的分析平台將會有對應的解決方案,以利協助企業組織落實資料驅動的決策,請先參考下表,至於更多資訊請參考 SAS 官方所提供的線上研討會。
解決方案
觀察
定位
決定
行動
報表和儀表板
O
探索和視覺化分析
O
O
優化和預測分析
O
O
O
高效能分析
O
O
O
O
機器學習和物聯網
O
O
O
O
即時事件串流處理
O
O
O
O
最後當企業導入 SAS 所提供的分析平台落實資料驅動的決策之後,除了內建提供強大且完整的安全隱私控管之外,更有提供資料治理和模型治理的控管措施,而不論是資料治理和模型治理對於人工智慧的企業應用皆是一大挑戰,此時若是企業組織已經有導入 Teradata 為資料倉儲和使用 Open Source 進行開放源始碼機器學習模型分析,則 SAS 所提供的分析平台將能夠簡化資料存取和確保一致性的模型,並且將 Python pickle 和 Rdata objects 部署至 Teradata 中,並且透過 SQL 進行高效能的評分處理,再將評分結果透過 SAS 分析平台中所提供 REST API 分析服務直接與與人工智慧相關的應用程式進行整合應用,以及啟用模型治理、監控、驗證和部署的工作流程,以利確保正式環境任何時間皆使用最適當的分析模型,至於更多資訊請參考 SAS 官方所提供的線上研討會。
總結若選擇 SAS 所提供的分析平台將能夠幫助企業落實資料驅動的決策之外,更能夠與企業現有資料倉儲和開放源始碼進行整合,更進一步以內建的控管解決企業所面臨安全隱私、資料治理和模型治理三大方面的痛點。
開始使用
登入至 SAS Viya 分析平台。
在畫面左上方點選【顯示應用程式功能表】鈕。
選取【建置模型】。
選取【建置模型】。
輸入【名稱】為【HMEQ】。
選取【類型】為【資料採礦和機器學習】。
選取【範本】,點選【瀏覽範本】。
選取【具有自動調整的類別目標的進階範本】,按下【確定】。
按下【瀏覽】鈕,選擇【資料】。
點選【HMEQ】資料,按下【確定】鈕。
按下【儲存】鈕。
自動識別【BAD】變數名稱為【目標】角色,其它變數為【輸入】角色。
點選【管線】頁籤,按下【執行管線】。
同時執行管線中多個節點。
已成功完成管線執行。
在【模型比較】節點上,按下右鍵點選【結果】。
查看多個【監督式學習】節點的【模型比較】結果,其中【最佳模型】為【梯度提升】節點的演算法。
點選【評估】頁籤,查看【提升報表】、 【ROC 報表】和【配適統計】的評估資訊。
點選【提升報表】中的【展開】鈕,點選【一個分割】的圖表資訊,按下【關閉】鈕。
點選【ROC 報表】中的【展開】鈕,點選【一個分割】的圖表資訊,按下【關閉】鈕。
點選【配適統計】中的【下載資料】鈕。
點選【管線比較】頁籤,查看管線執行產生的比較分析結果。
點選【觀點】頁籤,查看管線執行產生的觀點結果
Last updated