Microsoft recommendation solution on azure
Download as PPTX, PDF0 likes87 views
本文件介绍了推荐系统的基础知识，以微软推荐解决方案为例，涵盖数据挖掘与人工智能的概念、推荐系统的类型及其优缺点，以及微软Azure平台的应用。特别讨论了协同过滤、内容推荐和混合推荐方法，以及如何使用Smart Adaptive Recommendations（SAR）算法来提升推荐的精确度和有效性。旨在帮助开发者理解推荐系统的建设与部署过程。
Microsoft recommendation solution on azure
- 1. 推薦系統基礎介紹 - 以 MICROSOFT RECOMMENDATION SOLUTION 為例 Presented by Duran Hsieh http://dog0416.blogspot.com/
- 2. 2Presented By: Duran Hsieh 關於我 • 謝政廷 (Duran Hsieh) • 曾任逢甲大學資訊系 • 教育部計畫/國科會計畫兼任研究助理 • 文史脈流/網通人才培育/資策會委託案 • ASP .NET MVC C#/Android 業師 • 曾任凌網科技 : • 開發工程師/資深工程師/教育訓練講師/專案經理 • 13建置案/維護案、參與競標簡報 (1 android project) • 15場教育訓練、訓練超過150位以上使用者 • 曾任 Freelancer • 外包專案、自由研究開發者 (1 android project) • 台中市輔具整合平台
- 3. 3Presented By: Duran Hsieh 關於我 • 現任 Asia Fusion Technology • .NET Developer / Senior .NET Developer • 現任 2016-2019年 Microsoft MVP • Visual Studio and Development Technologies • Developer Technologies • 現任 Study4.TW 社群成員 • 台中活動負責人 • 現任台灣軟體工程學會理事
- 4. 4Presented By: Duran Hsieh 關於我 • 證照與課程完成證明 • Oracle Certified Professional, Java SE 6 Programmer • MS: Programming in HTML5 with JavaScript and CSS3 • Oracle Database SQL Certified Expert • Oracle Database 10g Administrator Certified Associate - Version Retired • Oracle Database 10g Administrator Certified Professional - Version Retired • (Course completion confirmation) M102: MongoDB for DBAs • (Course completion confirmation) M101N: MongoDB for .NET Developers • MCSA: Web Applications • MCSD: Web Applications • MCSD: App Builder
- 5. 5Presented By: Duran Hsieh 關於我 • 競賽 • 2011資訊教育與科技應用研討會專題競賽佳作(Excellent Work) • 2010 Open Source and Creative Application Contest (Silver Medal Award) • 2012跨領域創意網路通訊應用與服務競賽 (特優) • IBM Taiwan 2011 z Master Contest (Excellent Performance in Part II) • The 2012 Network Communication software and Creative Application Contest Award (First Prize) • 2014第7屆IT邦幫忙鐵人賽入圍 佳作(Excellent Work) • 2015 Microsoft Community Challenge (Second Prize) • 2017第8屆IT邦幫忙鐵人賽 佳作(Excellent Work) • 2018第9屆IT邦幫忙鐵人賽 佳作(Excellent Work)
- 6. 6Presented By: Duran Hsieh 關於我 • 其他 • Blog : http://dog0416.blogspot.com/ • DotBlog : https://dotblogs.com.tw/dog0416 • GitHub : https://github.com/matsurigoto/ • Bitbucket : https://bitbucket.org/matsurigoto/ • DockerHub : https://hub.docker.com/u/matsurigoto/
- 7. OUTLINE • 資料探勘與AI • 推薦系統 • Azure 與 App Service 簡介 • Microsoft Recommendations Solution • Smart Adaptive Recommendations (SAR) Algorithm • 建置與佈署 • 匯入資料、訓練與結果 • 結論
- 8. 資料探勘與AI
- 9. 9Presented By: Duran Hsieh 資料探勘與AI • 資料探勘 • 科技進步，已經能記錄龐大的資料與資訊 • 意味著可能可以從中發現更多未知關連與規則，進而預 測可能發生的事情。 • 因為未知，資料匯入系統後，複雜的計算，有可能產生 有用的結果 (知識)。 • 最有名的案例：關聯法則 (尿布與啤酒)
- 10. 10Presented By: Duran Hsieh 資料探勘與AI • 資料探勘流程
- 11. 11Presented By: Duran Hsieh 資料探勘與AI • 資料收集 • 資料庫 (原始資料) • 資料倉儲 (企業決策資料) • 資料選擇 • 清楚定義問題與資料探勘的目標 • 選擇適合探勘目的的原始資料 • 資料轉換 (資料清理或預處理) • 資料清理 • 修正錯誤 • 轉換成一致資料
- 12. 12Presented By: Duran Hsieh 資料探勘與AI • 資料探勘 • 找出隱藏在資料間的關係與規則 • 過程中的一小部分，但極為重要 • 結果呈現與解讀 • 對於關係、規則或型樣(Pattern) 進行分析 • 解讀與專業人員的評估 • 轉換知識
- 13. 13Presented By: Duran Hsieh 資料探勘與AI • 資料探勘常見方法 • 關聯法則 (Association Rule) • 分類 (Classification) • 分群 (Clustering) • 類神經網路 (Artificial Neural Network) • 文字探勘 • 回歸分析 • …
- 14. 14Presented By: Duran Hsieh 資料探勘與AI • 大數據分析可能的策略(1) 雲端資料庫 雲端運算
- 15. 15Presented By: Duran Hsieh 資料探勘與AI • 大數據分析可能的策略(2) • 資料無限、速度快，有限儲存空間下，取得資料只能進行一次 或極少次數 • 使用者需求隨時間不同 • 資料量因時間變動，無法預測 • 近期資料較具有參考價值
- 16. 16Presented By: Duran Hsieh 資料探勘與AI • 機械學習與AI • 人工智慧是資料探勘其中一門分析決策技術 • 而機械學習是人工智慧一種方式。 • 基於人類的認知，改變我們日常生活型態，提供許多服 務讓人類擁有更便利的生活。
- 17. 推薦系統
- 18. 18Presented By: Duran Hsieh 推薦系統 • 推薦系統 • 推薦系統蒐集了我們日常生活行為軌跡，透過資料探勘 方法，進而推薦感興趣的內容， • 好處： • 節省時間找到需要的資訊 • 應用也充滿商機
- 19. 19Presented By: Duran Hsieh 推薦系統 • 協同過濾 • 收集群集共同的喜好並進行過濾，進而推薦同群體可能感興趣 的內容 • 具有下列缺點： • 稀疏性（Sparsity） • 當商品數量過多、使用者評比較少的情況下，造成資料 過於稀疏，系統無法找到合適的推薦者，導致其準確度 不夠高。改善方式是增加交易資料。 • 延展性（Scalability） • 協同過濾是使用最接近鄰居法找出群體，其複雜度為商 品數量呈平方關係。 • 使用者與商品數量越來越多，會影響電腦過濾運算的速 度。
- 20. 20Presented By: Duran Hsieh 推薦系統 • 冷啟始（Cold Start） • 當新的使用者進入推薦系統，由於資料中沒有該使用者 相關資料可以進行分群，故無法對新使用者進行推薦。 • 同義 (Synonymy) • 當泛指相同商品，卻以不同名稱表示，系統會無法辨識 為相同的商品。 • 舉例 • 問卷調查：喜好調查 • 地域關係：居住地 • 使用者的操作紀錄 • …
- 21. 21Presented By: Duran Hsieh 推薦系統 • 內容推薦 • 增加特徵，推薦相同特徵的內容給使用者 • 若沒有使用者從未接觸過此特徵商品，一樣無法進行推薦 • 有以下限制 • 定義屬性 • 商品必須有指定的屬性，多媒體資訊如聲音、圖片或影 像等無法指定或辨識的屬性是無法處理的。 • 無法接觸新商品 • 內容式推薦方式只能推薦使用者過去喜好相似的商品， 因此無法推薦使用者未接觸，卻有可能感興趣的商品。
- 22. 22Presented By: Duran Hsieh 推薦系統 • 混合式推薦 • 整合兩種或更多種推薦方法進行推薦 • 大致可分為兩種 • 將推薦方法組合後，產生推薦結果 • 將各種推薦方法產生的結果，以權重、計數方式相加。
- 23. 23Presented By: Duran Hsieh 推薦系統 • 類似於推薦系統，目前熱門的 AI… • 較強調於決策部分而非強調提供選擇 • 對於封閉性、有固定規則的事物表現相當突出 • 而面對開放性問題，發展讓人期待
- 24. Azure 與 App Service 簡介
- 25. 25Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • Microsoft Azure • 微軟公用雲端服務 (Public cloud service) • 企業級的雲端平台 • 服務包含： • 運算服務 (Virtual Machine) • 應用服務 (Web Service) • 儲存體服務 (Storage) • AI 與 ML相關 (Cognitive service) • 網路服務 (Virtual Network) • …
- 26. 26Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • 關於雲端服務體驗 • 不需要維護實體伺服器 • 節省安裝建置時間成本 • 節省許多 infrastructure 與 Integration 工作 • (.NET Developer) 開發環境整合 • … • 專案、網站與競賽經驗分享 • 台中市輔具整合網 • Study4TW 社群網站 • IT邦幫忙鐵人賽
- 27. 27Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • 雲端服務一些注意事項 (經驗談) • 需要專業知識進行評估規格 • 符合需求 • 價格最省 • 複雜的架構需要有經驗的專家評估 • 謹慎面對安全與權限設定 • 一個帳單暴增的故事 • 不要的服務記得刪除 (避免產生額外費用)
- 28. 28Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • App Service • 為一種平台服務 (Platform-as-a-service, Paas) • 無須理會伺服器架構 • 專心於建置與佈署工作 • 支援多種程式語言與框架 • .NET • .NET Core • Java, Ruby • Node.js • PHP • Python
- 29. 29Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • 5種 App Service • Web Application • Mobile Application • API Application • Logic Application • Azure Function
- 30. 30Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • App Storage • 主要分成三類 • 虛擬機器儲存體 • 非結構性儲存體 • 結構性儲存體
- 31. 31Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • 磁碟分類 • HDD • SSD • 複寫 (Replication) • LRS • 價格較低，在單一區域會有三個複本 • ZRS • 一樣有三個複本，但會跨越 1-2個區域 • GRS • 提供更高的可用性，會有六個複本並分別(每三個)儲存在主要與次 要兩個區域，而次要區域會距離主要區域一段距離 • RA-GRS • 相同於GRS，但在次要地區也提供讀取權限。
- 32. 32Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • 儲存策略： • 當您儲存的資料為虛擬機器使用，您可以考慮加裝 Data disk 或 Files Storage • 當您的網站需要讀取圖片與影像，且頻繁存取，您可以考慮使 用 Blob Stroages 與 進階效能(SSD) • 當您儲存的資料非常重要，您可以考慮使用 GRS 或 RA-GRS 複 寫機制 • 當您儲存純粹的 Key/Attribute(s) 、物件或 OData 等資訊，且 低關聯性的資料，您可以考慮 Table Storage
- 33. 33Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • 學習資源 • Microsoft Azure Docs • Microsoft Professional Program • Microsoft Virtual Academy • Azure Taiwan User Group • Microsoft Azure Github
- 34. 34Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • App Service 個人相關文章 • Azure App Service 基本介紹 • Azure App 規模與效能教調 • Azure App 備份與還原 (backup and restore) • Azure App 持續與階段性部署 (Continuous and Staged Deployment) • Azure App 佈署 (Azure App Deployment)
- 35. 35Presented By: Duran Hsieh AZURE 與 APP SERVICE 簡介 • App Storage 個人相關文章 • Azure Storage 基礎介紹與儲存策略 • Azure Storage Tools 介紹與操作 • Azure Virtual Machine Storage 介紹 • Azure Blob Storage 介紹與操作 • Azure Tables Storage 介紹與操作 • Azure Queue Storage 介紹與操作 • Azure Files Storage 介紹與操作 • Azure Storage 存取與安全性設定 • Azure 備份 - 檔案與資料夾、虛擬機器備份 (Azure backup - Recovery Services Vault)
- 37. 37Presented By: Duran Hsieh MICROSOFT RECOMMENDATIONS SOLUTION • 建構於雲端上的推薦解決方案
- 38. 38Presented By: Duran Hsieh MICROSOFT RECOMMENDATIONS SOLUTION • 如何操作 – Restful
- 39. 39Presented By: Duran Hsieh MICROSOFT RECOMMENDATIONS SOLUTION • 操作步驟 • 目錄與使用資料 • 定義使用資料並匯入歷史交易資料 • 資料放在Azure Storage • 建立模組與訓練 • 建立模組(資料來源、推薦設定) • 並進行訓練 • 取得推薦資料 • 顧名思義，推薦客戶想要的商品
- 40. 40Presented By: Duran Hsieh MICROSOFT RECOMMENDATIONS SOLUTION • 資料格式 • 目錄資料 • 提供給客戶的商品資料格式 • 檔案格式為 csv
- 41. 41Presented By: Duran Hsieh MICROSOFT RECOMMENDATIONS SOLUTION • 範例
- 42. 42Presented By: Duran Hsieh MICROSOFT RECOMMENDATIONS SOLUTION • 交易資料 • 實際交易資料 • 檔案格式為 csv
- 43. 43Presented By: Duran Hsieh MICROSOFT RECOMMENDATIONS SOLUTION • 範例
- 44. 44Presented By: Duran Hsieh MICROSOFT RECOMMENDATIONS SOLUTION • 建議資料量 • 資料量過少會導致無法推薦，或推薦品質不佳 • 交易數量為商品數量20倍為不錯的數據 • 有 20項商品的時候，應該要有400 交易資料 • 仍然要試驗自己的最佳數據
- 45. SAR Algorithm
- 46. 46Presented By: Duran Hsieh SAR ALGORITHM • Smart Adaptive Recommendations, SAR • SAR 是協同過濾方法之一，演算法主要會建立兩種矩陣， 藉此紀錄關聯性並進行推薦 • 商品-使用者矩陣：紀錄使用者點閱與購買次數，依據權重不同 做計算。 • 商品-商品矩陣：主要紀錄商品在那些資料出現的次數，並透過 數學計算同時出現相關機率。
- 47. 47Presented By: Duran Hsieh SAR ALGORITHM • Smart Adaptive Recommendations, SAR
- 48. 48Presented By: Duran Hsieh SAR ALGORITHM • 協同過濾的兩個方法 • 商品間相似性矩陣
- 49. 49Presented By: Duran Hsieh SAR ALGORITHM lift(Item i, Item j) = cooccur(Item i, Item j) / (occ(Item i) * occ(Item j)) Jaccard(Item 1, Item 2) = cooccur(Item1, Item 2) / (occ(Item 1) + occ(Item 2) - cooccur(Item 1, Item 2))
- 50. 50Presented By: Duran Hsieh SAR ALGORITHM • 客戶到商品的關係矩陣
- 51. 51Presented By: Duran Hsieh SAR ALGORITHM • 推薦 • 使用者推薦 • 依據客戶交易紀錄推薦商品 • 同時出現推薦 • 依據經常發生的頻率，推薦類似商品
- 52. 建置與佈署
- 53. 53Presented By: Duran Hsieh 建置與佈署 • 操作流程： • Step 1.首先我們前往 Azure AL Gallery - Recommendation Solution ，點 選右邊 Deploy，系統會要求您先進行登入
- 54. 54Presented By: Duran Hsieh 建置與佈署 • Step 2.輸入 Deployment Name 與訂閱帳戶...等等 Azure 相關資訊
- 55. 55Presented By: Duran Hsieh 建置與佈署 • Step 3.準備開始佈署，這裡說明會佈署三種服務：App service、App Storage 與 Application insights。我們點選 Next
- 56. 56Presented By: Duran Hsieh 建置與佈署 • Step 4.設定 Azure App Service → 點選 Next
- 57. 57Presented By: Duran Hsieh 建置與佈署 • Step 5. 設定 Azure Storage → 點選 Next
- 58. 58Presented By: Duran Hsieh 建置與佈署 • Step 6.設定 Azure Application Insights → 點選下一步
- 59. 59Presented By: Duran Hsieh 建置與佈署 • Step 7.發布服務中....
- 60. 60Presented By: Duran Hsieh 建置與佈署 • Step 8.佈署完成後，很貼心的提供服務相關資訊，像是 endpoint、key … 等等
- 61. 61Presented By: Duran Hsieh 建置與佈署 • Step 9.回到提供服務網頁，先記下 admin key，然後我們點選 recommendation UI 網址，進入圖形化操作介面
- 62. 62Presented By: Duran Hsieh 建置與佈署 • Step 10.進入 UI 介面，可以看見 Models、Documentation、Sample、 API Reference，我們點選下方Train New Model。
- 63. 63Presented By: Duran Hsieh 建置與佈署 • Step 11. 看起來可以設定Model 資訊
- 64. 64Presented By: Duran Hsieh 建置與佈署 • Step 12.登入到 Azure Portal，檢視我們建立的服務。
- 65. 匯入資料、訓練與結果
- 66. 66Presented By: Duran Hsieh 匯入資料、訓練與結果 • Demo • 放入資料 • 執行程式 • 擷取結果
- 67. 結論
- 68. 68Presented By: Duran Hsieh 結論 • 相關經驗分享 • 太陽能發電最佳化資料分析 • 景點推薦系統 • 機器人程式 (語意分析等相關服務使用)
Editor's Notes
- #10: 為什麼重視資料探勘： 大數據、機械學習、人工智慧等議題相當火紅，其研究方法、內容都與資料探勘研究有關連，而在於實作、目的與應用面間的不同。 微軟MVP與行銷 Team 會議談話內容：Data 與 BI 沒有弄好，哪來的人工智慧
- #11: 一張標準的資料探勘流程圖分成： 資料蒐集 資料選擇 資料轉換 資料探勘 資料呈現
- #12: 資料倉儲提升企業的執行決策效率，對於龐大的原始資料加以整理、歸納、合併與儲存，所建構有系統性的資料集合
- #13: 資料倉儲提升企業的執行決策效率，對於龐大的原始資料加以整理、歸納、合併與儲存，所建構有系統性的資料集合 資料解讀可以提一下過去座太陽能探勘、景點推薦經驗。
- #14: 資料倉儲提升企業的執行決策效率，對於龐大的原始資料加以整理、歸納、合併與儲存，所建構有系統性的資料集合
- #15: 雲端整合，不需要擔心分散式問題，儲存大量資料與透過大量運算進行分析。 隨著 AI 需求，漸漸開始提供雲端 AI 服務，雲端服務不斷進化。
- #16: 1. 過去資料價值依時間遞減，而不需要大量保留資料。 2. 抑或者將資料進行 aggregate ，保留彙整數據後，再進行分析。
- #17: 討論議題：AI 會超越人類嗎 ?
- #26: 簡介，簡單帶過此 Session
- #29: 可以提到：Switch slot 可以提到：DevOps 與 CI 自動提升規模與降低規模
- #30: Web application: Azure 提供代管的網站或網頁應用程序的運算資源。 Mobile Application (後臺管理程式，可以另外舉例 firebase)： - Build native and cross platform apps: 無論你建置原生 IOS、Android、Windows App 或跨平台的 Xamarin 與 Cordova (Phonegap)，您能透過原生 SDKs 使用 App Service - Connect you your enterprise system: 快速地連接您的企業雲端服務 - Build Offline-read apps with data sync: 當連結到企業資料來源與 SaaS APIs 時可以背景同步資料 - Rapidly push notifications to millions of users: 透過任何設備及時推送通知吸引客戶，根據需求進行個人化，並在適合的時間進行推播。 Logic Apps: 提供一種簡化且實作可調整整合與工作流程的方法。他提供視覺設計工具，對您的處理程序進行一系列建模與自動化工程流程
- #32: 解釋複寫
- #33: 解釋複寫
- #38: 伺服器架構 Recommendations Solution 這個專案可以直接佈署至 Azure，會產生 Azure Web Application, Azure Storage, 與 Azure Application Insights (通常我會刪掉這個)，如下圖所示： https://gallery.azure.ai/Tutorial/Recommendations-Solution 這裡有圖
- #39: Swagger 是個強悍的 WebAPI 工具，可以線上知道所需參數與進行測試。
- #48: https://github.com/Microsoft/Product-Recommendations/blob/master/doc/sar.md SAR是一種基於用戶交易歷史和項目描述的個性化推薦的快速可擴展自適應算法。 它產生易於處理“cold item”和“semi-cold user”場景。
- #49: 物品間相似度矩陣為每對物品包含這兩個物品之間相似性的數值。 項目相似性的簡單度量是共現，即兩個項目出現在同一事務中的次數。 我們來看下面的例子： (第1項，第2項）= 3，意味著第1項和第2項在一次交易中在一起3次，表示每個項目的出現次數。 lift測量兩個項目的共現高於偶然性的程度，即兩個項目的相互作用的貢獻是多少。 lift(Item i, Item j) = cooccur(Item i, Item j) / (occ(Item i) * occ(Item j)) . Jaccard措施定義為兩個項目一起出現的交易數量除以其中任何一個出現的交易數量： Jaccard(Item 1, Item 2) = cooccur(Item1, Item 2) / (occ(Item 1) + occ(Item 2) - cooccur(Item 1, Item 2)) .
- #50: 物品間相似度矩陣為每對物品包含這兩個物品之間相似性的數值。 項目相似性的簡單度量是共現，即兩個項目出現在同一事務中的次數。 我們來看下面的例子： (第1項，第2項）= 3，意味著第1項和第2項在一次交易中在一起3次，表示每個項目的出現次數。 lift測量兩個項目的共現高於偶然性的程度，即兩個項目的相互作用的貢獻是多少。 lift(Item i, Item j) = cooccur(Item i, Item j) / (occ(Item i) * occ(Item j)) . Jaccard措施定義為兩個項目一起出現的交易數量除以其中任何一個出現的交易數量： Jaccard(Item 1, Item 2) = cooccur(Item1, Item 2) / (occ(Item 1) + occ(Item 2) - cooccur(Item 1, Item 2)) .
- #54: https://quickstart.azure.ai/zh-TW/Deployments/details/42573282-1023-4a13-b993-0941487f1933@62083539-6ebe-4086-9925-e386996e6fbd
- #69: 資料探勘要找出知識相當不容易，大量資料並訓練出的結果會受到不同面向的因素，導致無法找到正確的關聯 很多時候會依賴既有知識，而被限制無法找到正確規則 有時候規則在你面前出現，你可能無法發現、無法歸納甚至無法說明，並非探勘失敗，而是某些要素未達成 實驗、修正與反饋