How to build your own robot with ibm bluemix&watson
Download as PPTX, PDF4 likes625 views
本文件介绍了基于IBM Bluemix和Watson构建智能机器人的框架和应用，强调了与物联网、情感识别和语音交互等功能的整合。它强调了开发者如何利用这些工具创建自定义机器人系统，涵盖了从基本功能到高级数据分析的多种应用场景。文中还讨论了构建智能机器人的重要环境需求和面临的挑战。
How to build your own robot with ibm bluemix&watson
- 1. Build Your Own Robot -with IBM Bluemix & Watson Tommy Wu(tommywu@tw.ibm.com) Cloud Solution Architect Dec, 2015 © 2015 International Business Machines Corporation
- 5. An open-source robot framework based on Bluemix, IoT foundation and Watson Artificial Intelligence
- 6. It all starts from a hackathon …
- 7. after 8 hours coding session, First generation of Humix was born Listens IRC communication Feels the sentiment of discussion Says basic Chinese
- 8. Temperature Sensor Humidity Sensor Light Sensor Programmable LED (NeoPixel) Text to Speech API NoIR Camera NFC Sensor Watson Sentiment API Translation API Alchemy Face Detection API Speech to Text API Speaker / Mic Humix
- 9. 如果Humix 能 變小並且能走動 ? Alice’Toy ? ^.^
- 10. 功能清單及應用想像情境 • 基本功能： 能走路(前進/後退/左、右轉)，會揮手 、轉頭，扭腰、 • IOT 應用-透過應用程式操控機器人行動： Web 應用程式- 網頁操控 手機App - 行動裝置操控 語音操作 – 中/英文語音命令操控 藍牙應用 – PS3 or Wii 搖桿操控 • 眼睛/視覺應用： 能辨識物體 能判斷性別、年紀 能觀看紀錄眼前影像(串流) 紀錄 眼睛依據情緒而變化 • 語音/聽覺應用： 聽懂中、英文/講中、英文 • IT 應用： Web聊天，判斷語意變化表情 判斷應用系統狀態，前進至定位並語音回報- Beacon應用 – 能進行室內定位，回報經過地點及時間 • 資料分析應用： 天氣預報服務 (英文語音) DashDB / R語言 分析應用(股票曲線/異常預測) • 其他更多應用：… 串流識別、循跡移動、音樂故事、…….
- 12. Rapiro is a cute, affordable, and easy to assemble humanoid robot kit. Comes with 12 servo motors and an Arduino compatible controller board. Designed for Raspberry Pi. Its limitless possibilities all depend on you. 來源:http://www.rapiro.com/ Programmable Customizable 粉絲頁：https://www.facebook.com/project.rapiro
- 14. Bluemix 是一個基於雲的開放PaaS 標準平臺，用於構建、管理和運行各種 類型的應用程式（Web、行動化、BIG Data、IOT ,Watson 等等）。 在幾秒內上線 開發人員可以選擇任何語言的運 行時，或引入他們自己的運行時。 從零到生產只需一個命令。 開發運營 (DevOps) 開發、監控、部署和日誌工具， 讓開發人員可以運行整個應用 程式。 API 和服務 IBM、協力廠商和開源 API 服務的 目錄，讓開發人員在幾分鐘內就能 夠組合出一個應用程式。 內部部署集成 構建混合環境。連接到內部部署資 產及其他公共和私有雲。 靈活的定價 在幾分鐘內完成註冊。按需付費， 訂閱模式提供選擇和靈活性。 分層安全防護 IBM 保障平臺和基礎架構的安全 性，並為您提供保護應用程式所需 的工具。 What is BlueMix?
- 15. 15 Cloud Foundry 開放雲應用平台 - 多平台支持 避免 被鎖定
- 16. 開發人員為什麼使用 Bluemix？ 在幾分鐘內實現從無到運行程 式碼。 自動化許多應用程式的開發和交付。 為了以更低的成本迅速 將產品和服務推出市場 為了持續交付新的功能給他 們的應用程式 為了擴展對 IT 基礎架構 的現有投資 通過安全地連接到內部部署基礎架構，擴展 現有投資。
- 17. What is Watson? © 2015 International Business Machines Corporation
- 18. © 2014 International Business Machines Corporation
- 19. 19 使用 Bluemix 服務建立機器人控制系統 安全服 務 Web 與 應用服 務 雲整合 服務 行動服 務 • 可選擇使用各種運行環境，服務或 工具 選擇 領先行業的 IBM 能力 • 利用深厚IBM軟體實力提供服務 • 全方位的能力 完整性 • 開放的平臺與服務 • 協力廠商提供服務的關鍵用例 資料庫服務 大資料服務 Watson 服 務 DevOp s 服務 廣泛的能力合適任何偉大創意 物聯網 服務
- 21. •基於 V8 JavaScript 引擎 (With JIT) •可獨立運作 (無需瀏覽器) •Event-driven •Non-blocking I/O model •支援數千以上 Concurrent 連線 •Minimal Overhead (CPU/Memory) on a single process •Extending with C/C++ •Support Multi-core Systems node.js 為主要開發語言
- 23. • Node.js • Interrupt-based IO • Minimal Resource Usage • https://github.com/watson- developer-cloud/rpi-time- weather-demo Raspberry pi + Text to Speech 有了豐富的範例，一切好談
- 24. Watson 影像物件辨識範例 What is it? Understand the contents of images. Trainable for custom content. How does it work? Visual Recognition allows users to understand the contents of an image or video frame, answering the question: “What is in this image?” Submit an image, and the service returns scores for relevant classifiers representing things such as objects, events and settings. Use Cases- You can organize image libraries, understand an individual image. Train the robot to know image sense Doors Security & Web Cam Application Demo : http://vision.alchemy.ai/
- 25. Watson AlchemyVision – 人臉辨識技術 Image Link Extraction - Given any URL, the Image Link Extraction API will scan the designated page to find the most prominent image and directly retrieve the URL for that image. It can then be appropriately classified and tagged. Image Tagging - With AlchemyVision’s image tagging API, you can quickly categorize and organize image libraries at a massive scale. Face Detection/Recognition - When provided an image file or URL, the AlchemyVision Face Detection and Recognition API returns the position, age, gender, and, in the case of celebrities, the identities of the people in the photo. © 2015 International Business Machines Corporation
- 26. 機器人聊天語意分析 – Watson AlchemyLanguage Node-Red開發聊天室 透過聊天室與它互動
- 27. 以物聯網服務 積木式組裝.
- 28. Loosely-coupled architecture with IoT Foundation
- 29. IBM Design for Internet of Things Cloud Device Registration & Connectivity Connectivity | Awareness | Security & Privacy | Asset mgmt Integration Mobile | Cloud | Enterprise Data services Historian | Cache | Search Managed APIs Share | Monetize Real-time Big Data Analytics Data Analytics | Event Analytics | Streaming Applications Runtime | Services Accelerators IBM Internet of Things Cloud Partners Customers Developers Employees More Things API API API API API
- 30. Hundreds of SensorsThousands of API/Services MeetsWhen
- 31. Program the brain is just as easy as Drog-n-Drop
- 32. 應用系統(IOT)組合範例：溫度/股價警示 Buy Stock 擷取欄位 存入資料庫 除錯顯示 判定條件 價格< 38 價格> 38 發送警示 Buy Stock 即時訊息串流
- 33. 最終成果 2天後智能機器人誕生
- 34. 身體控制:Arduino 大腦控制:RPi Bluemix 雲端智能機器人 – 組成架構 主控台 使用服務： 1、Watson : 中文語音 辨識、影像辨識、分析、 語意分析 2、Cloudant DB、IOT、 NodeRed、dashDB、 腦神經
- 36. Arduino身體動作程式碼編輯
- 37. Bluemix 雲端智能機器人 – 系統架構 RAPIRO 開發 • 開發語言： Node.JS,Python,HTML5,C • 開發平台： Bluemix DevOps, Node- Red,Orion,Arduino IDE • 開發應用： Web應用 – Node-Red 手機應用 - Mobile First 語音應用 - Node-RED 藍牙應用 - Python Beacon應用 – Presence Insight • 開發架構： 小腦：Raspberry Pi RAM:512MB-16GB SD Card 大腦：IBM Bluemix 外觀：3D 列印 (KickStarter) 身體：Arduino 控制板 12顆伺服馬達 (KickStarter) 思考流程： 中文語音辨識-Watson 邏輯判斷-Node-Red, IOT Foundation 中/英文語音回應-Google/Watson 語意分析 – Watson Sentiment 身體行動 – Node.JS+Python 身體行動 (Arduino)： 雙手可緊握 手臂可揮舞 雙腳可走路 視覺/表情 (Camera)： 影像串流 -Node.JS 影像識別 –Watson Tag 人臉辨識 –Watson Face 氣象播報 - Watson Weather 眼睛表情(LED Matrix) -Python 數據存儲 – Cloudant 數據分析 – DashDB / R Script 高感度麥克風 外接喇叭 藍芽模組 序列埠溝通 Beacon 裝置 室內定位
- 38. What is YOUR recipe ?
- 39. 還有一些困難需要克服 • 電壓、電流穩定性 ( 9V or 12 V ? 10A ?) • 語音連續性模式+串流 (Local連續串流直到keyword found ?) • 收音的品質 (更高級的麥克風? Or 指向性 ?) • 電池重量及續航力 ( 18650 鋰電?) • 喇叭需要剖腦充電 (直接拉二個單體接電至power ?) • 眼睛(LED Matrix) 無法固定 (卡筍製作?) • 沒時間…. (找人合作開發?)
- 41. Thank You ! Any Question ?
Editor's Notes
- #4: The theme throughout this presentation is that Bluemix just “works.” It’s easy, it’s quick, it’s flexible, it works… And Bluemix works with this concept of the “New IT” that utilizes hybrid cloud to keep up with the world today.
- #10: The theme throughout this presentation is that Bluemix just “works.” It’s easy, it’s quick, it’s flexible, it works… And Bluemix works with this concept of the “New IT” that utilizes hybrid cloud to keep up with the world today.
- #14: The theme throughout this presentation is that Bluemix just “works.” It’s easy, it’s quick, it’s flexible, it works… And Bluemix works with this concept of the “New IT” that utilizes hybrid cloud to keep up with the world today.
- #28: The theme throughout this presentation is that Bluemix just “works.” It’s easy, it’s quick, it’s flexible, it works… And Bluemix works with this concept of the “New IT” that utilizes hybrid cloud to keep up with the world today.
- #34: The theme throughout this presentation is that Bluemix just “works.” It’s easy, it’s quick, it’s flexible, it works… And Bluemix works with this concept of the “New IT” that utilizes hybrid cloud to keep up with the world today.
- #41: The theme throughout this presentation is that Bluemix just “works.” It’s easy, it’s quick, it’s flexible, it works… And Bluemix works with this concept of the “New IT” that utilizes hybrid cloud to keep up with the world today.