![KoKo 大魔術熊貓工程師
舉例
「柯」可能被表示為 [1, 0, 0, 0]
「克」可能被表示為 [0, 1, 0, 0]
「是」可能被表示為 [0, 0, 1, 0]
「好人」可能被表示為 [0, 0, 0, 1]
「柯」可能被表示為 [0.1, 0.3]
「克」可能被表示為 [0.4, 0.2]
「是」可能被表示為 [0.5, 0.7]
「好人」 可能被表示為 [0.9, 0.8]](https://image.slidesharecdn.com/20240722vectordbandqdrant-240722124038-31fd6820/85/The-theory-of-vector-database-and-qdrant-7-320.jpg)
The theory of vector database and qdrant
- 1. 向量資料庫與 Qdrant 的介紹 Ko Ko, Microsoft AI MVP 2024/07/22 @ R-Ladies
- 2. KoKo 大魔術熊貓工程師 關於 Ko Ko ● 連續五年當選 Microsoft AI MVP。 ● 國內外大型技術年會講師，包含 COSCUP、ModernWeb、名古屋開源年 會、香港開源年會、PyCon APAC、PyCon HK、DevDays Asia 等。 ● 合著有《駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language 開發實踐 (使用.NET 與 Node.js)》、《極速 ChatGPT 開發者兵器 指南跨界整合 Prompt Flow、LangChain 與 Semantic Kernel 框架》 ● 經營粉專「大魔術熊貓工程師」
- 3. 天瓏書局當年排行第二名： 內容80%至今未過時 當年第一本針對軟體工程師所撰寫之 ChatGPT 專書 用 .NET 和 Node.JS 雙語言範例程式碼 第一本針對 Azure OpenAI 所撰寫之專書 第一本針對 Cognitive Service for Language 專書 第一本教你如何 Fine tune GPT 模型之專書 第一本教你 Semantic Kernel 與 RAG pattern 專書 大量範例與實戰，內容至今 80% 可用
- 4. 極速 ChatGPT 開發者兵器指南 跨界整合 Prompt Flow 、LangChain 與 Semantic Kernel 框架 天瓏書局五月排名第二的書 台灣第一本介紹 LangChain 0.1 穩定版的書， 也是第一本介紹 Prompt Flow 的書， 也是第一本介紹 Samentic Kernel 1.0 版之後的書 （第一本 1.0 版之前的 SK 書也是我們寫的）
- 5. KoKo 大魔術熊貓工程師 稀疏向量（ Sparse vector ） 每一個維度對應一個單詞 對應該單詞的維度的值為1，其餘所有維度的值都為0 one-hot encoding 維度數量隨著詞彙量的增長而急劇增加 向量無法捕獲單詞之間的語義相關性 假設由100萬個單詞形成的語料庫，其維度也會變成100萬維，相當 地龐大。
- 6. KoKo 大魔術熊貓工程師 密集向量（ Dense vector ） 密集向量與稀疏向量是一種相對的概念 這個低維可能是100維、200維等，如 Ada 是 1536 維。 這些向量能夠捕獲單詞的語義，並且將語義相近的單詞投影到 嵌入空間中的相近位置。 可以捕獲單詞之間的相關性。
- 7. KoKo 大魔術熊貓工程師 舉例 「柯」可能被表示為 [1, 0, 0, 0] 「克」可能被表示為 [0, 1, 0, 0] 「是」可能被表示為 [0, 0, 1, 0] 「好人」可能被表示為 [0, 0, 0, 1] 「柯」可能被表示為 [0.1, 0.3] 「克」可能被表示為 [0.4, 0.2] 「是」可能被表示為 [0.5, 0.7] 「好人」 可能被表示為 [0.9, 0.8]
- 9. KoKo 大魔術熊貓工程師 Cosine Metrics 餘弦相似度 (Cosine Similarity)：其值範圍從-1（完全相反）到1（完全相同），其 中0表示兩者獨立，無相關性。但是在 NLP 中，往往是取 0 到 1。 餘弦距離 (Cosine Distance)：範圍是從0（無距離，表示完全相同）到2（完全不 同） Cosine Distance(A,B)=1−Cosine Similarity(A,B) 餘弦距離是補充的表示，不是真正的距離（像是心和心的距離）
- 10. KoKo 大魔術熊貓工程師 向量資料庫 專門儲存向量的資料庫，本日使用 Qdrant。 可以在高維度空間檢索資料，尤其是文本相似度搜尋 實作 Approximate Nearest Neighbor (ANN) 之類的算法，可以快速找到目標 可以支援分散式系統架構 可以視為當代 AI 應用的基礎建設之一
- 11. KoKo 大魔術熊貓工程師 PostgreSQL with pgvector 只要再 PostgreSQL 上安裝 pgvector 這個套件就可 以使用 語法類似 SQL 也有 Python SDK 資料大時會比較慢 有開源
- 12. KoKo 大魔術熊貓工程師 Redis KV 性質的 NoSQL In-memory 的儲存，常常被拿來當 Cache RediSearch 是 Redis 的一個模組，可用於向量搜尋 有開源
- 14. KoKo 大魔術熊貓工程師 Milvus 相當主流的向量資料庫 Milvus 能在毫秒級別上對萬億向量資料集進行搜索 2.0 版本之後開始支援雲原生 有開源
- 15. KoKo 大魔術熊貓工程師 Weaviate 相當主流的向量資料庫 有 Module 的功能，讓開發者可以更容易搭配 AI model 使用 支援使用 GraphQL inferface 來做開發 有開源
- 16. KoKo 大魔術熊貓工程師 Chroma 新興的向量資料庫 常常和 LangChain 的範例搭配使用 有開源
- 17. KoKo 大魔術熊貓工程師 Azure AI Search 以前叫 Cognitive search Azure 內建的服務 貴
- 20. KoKo 大魔術熊貓工程師 都架設在 Azure 上的Standard D8s v3 機器
- 21. KoKo 大魔術熊貓工程師 為什麼不選 Pinecone? Pinecone 只提供了 SaaS 服務，而 Qdrant 有 SaaS 服務，也有開源 版本可以讓企業在本地端自架。 SaaS 版本 Pinecone 每月 70 美元起，而 Qdrant 是 25 美元。 Qdrant 一個點可以有兩種不同的向量資料（如圖片和文字）
- 22. KoKo 大魔術熊貓工程師 Qdrant 重要名詞 Collections：A collection is a named set of points (vectors with a payload) among which you can search. Payload：To store additional information along with vectors. Point：The points are the central entity that Qdrant operates with. A point is a record consisting of a vector and an optional payload.
- 25. KoKo 大魔術熊貓工程師 Qdrant On Azure
- 27. KoKo 大魔術熊貓工程師 其實還有這個： RAG (Retrieval Augmented Generation ) https://www.e2enetworks.com/blog/ guide-to-building-a-rag-based-llm-a pplication