Operate Clova with Android Things
1 like424 views
Kenichi Nakahara LINE / Smart Product team LINEではClova対応デバイスを容易に開発できるよう様々なSDKを開発しています。本セッションでは、このSDKを用いて Android ThingsをインストールしたRaspberry Piへ簡単にClovaを組み込む方法について発表します。Clova 開発と言えば、自然言語処理 (NLU) やスキル (CEK) 開発が注目されがちですが、本セッションを通じてデバイスメーカーやAndroid エンジニアなど、様々な方々にClovaに興味を持っていただければと思います。
Operate Clova with Android Things
- 1. Android ThingsでClovaを動かしてみた Kenichi Nakahara Clova Development Dept.
- 3. ● Android デバイスへ簡単に Clova を実装可能な Clova Client SDK を開発した ● この SDK を用いて Raspberry Pi3 上の Android Things で Clova を動かしてみた ● 競合他社と同じく開発者やデバイスメーカーの方が簡単に Clova をRaspberry Pi3上で動かせる環境を構築できた OVERVIEW
- 6. Google Google Assistant SDK for devices Linuxデバイス用のSDKをリリース済み COMPETITORS Amazon AVS Device SDK https://developer.amazon.com/ja/alexa-voice-service/sdk https://developers.google.com/assistant/sdk/
- 7. • 開発者が自身のデバイスへ容易に実装可能 • Clova Interface Connect (CIC)へ接続するためのSDK • 音声の録音、アップロード、結果の取得 Android/iOS向けに開発されている Clova Client SDK Clova Client SDK
- 9. • プロトタイピングやテスト用に開発プラットフォームが提供済 み • Android Things は IoT 向けの Android サブセット OS • 既存の開発ツールでアプリ(apk)の開発が可能 Androidベースの組み込み用OS Android Things https://developer.android.com/things/
- 10. DEMO
- 11. • Clova Client SDKを組み込んだapkを作成する • 各種ハードウェアを用意する • Android Thingsをセットアップする ボタンを押すと Clova が 起動し会話中は LED が点灯するデバイス PROCEDURE
- 13. IMPLEMENTATION
- 14. Button and LED: Android Things 公式サンプルアプリ READY https://github.com/androidthings/sample-button
- 15. <uses-permission android:name="com.google.android.things.permission.USE_PERIPHERAL_IO" /> //追加 <uses-library android:name=“com.google.android.things"/> //追加 <activity android:name="ai.clova.cic.clientlib.sample.MainActivity"> ・・・ <intent-filter> <action android:name="android.intent.action.MAIN"/> <category android:name=“android.intent.category.IOT_LAUNCHER"/> //追加 </intent-filter> ・・・ </activity> AndroidManifest.xmlへ以下を追加 For Android Things
- 16. ・・・ minSdkVersion 27 //設定 ・・・ dependencies { ・・・ implementation ‘com.google.android.things.contrib:driver-button:0.7' //追加 compileOnly ‘com.google.android.things:androidthings:0.8-devpreview' //追 加 ・・・ } build.gradeへ以下を追加 Button and LEDアプリのBoardDefaultsクラスをサンプルアプリへ追加 For Android Things
- 17. protected void onCreate(final Bundle savedInstanceState) { ・・・ guestModeLogin(); //guest modeでClovaログインする(将来的にはAPIキー発行のような形で提供検討) ・・・ try { Log.i(TAG, "Registering button driver " + BoardDefaults.getGPIOForButton()); mButtonInputDriver = new ButtonInputDriver( //ボタンを押すと指定のKEYCODEが発行されるようにする BoardDefaults.getGPIOForButton(), com.google.android.things.contrib.driver.button.Button.LogicState.PRESSED_WHEN_LOW, KeyEvent.KEYCODE_TV); //SWキーにはないKEYCODE_TVを割り当てている mButtonInputDriver.register(); } catch (IOException e) { Log.e(TAG, "Error configuring GPIO pins", e); } ・・・ MainActivity の onCreate() でログイン設定とボタン有効化 For Android Things
- 18. public boolean onKeyDown(int keyCode, KeyEvent event) { if (keyCode == KeyEvent.KEYCODE_TV) { startRecording(); //音声認識開始 setLedValue(true); //LED点灯開始 return true; } return super.onKeyDown(keyCode, event); } private void setLedValue(boolean value) { try { mLedGpio.setValue(value); } catch (IOException e) { Log.e(TAG, "Error updating GPIO value", e); } } ボタンに連動してLEDを点灯 For Android Things
- 19. public void onMultiturnConversationCompleted() { closeBtSco(); setLedValue(false); //追加 } マルチターンが終わったらLEDを消灯 For Android Things
- 20. ● Android Thingsで簡単にClovaを実装出来たので、SDK含めて後日 公開したい ● 新しい Clova デバイスを一緒に考えたいプランナーや、開発した いエンジニアの方はぜひ一緒に働きましょう ● ご興味のあるデバイスメーカー様もご相談ください SUMMARY
- 21. THANK YOU
- 22. BUILD SAMPLE APP Android CIC SDK サンプルアプリをビルド