[初音ミク] Kinesis でフリーザを撃て！
82 likes19,795 views
Amazon Kinesis と初音ミクをもちいた、元気パワーのリアルタイムビジュアライザー
![[初音ミク] Kinesis でフリーザを撃て！](https://image.slidesharecdn.com/jawsdayslt20140315up-140315190450-phpapp02/85/Kinesis-1-320.jpg)
![Tweet を Stream に入れる
Kinesis
Stream
Twitter4J Kinesis MeCab Dynamo Unity
TwitterStream twitterStream = new TwitterStreamFactory().getInstance();
StatusListener listener = new StatusListener() {
@Override
public void onStatus(Status status) {
String key = RandomStringUtils.randomAlphanumeric(10);
String json = DataObjectFactory.getRawJSON(status);
PutRecordRequest putRecordRequest = new PutRecordRequest();
putRecordRequest.setStreamName(PropUtil.getInstance().getProp("StreamName"));
putRecordRequest.setData(ByteBuffer.wrap(json.getBytes(Charset.forName("UTF-8")));
putRecordRequest.setPartitionKey(key);
PutRecordResult putRecordResult = kinesis.putRecord(putRecordRequest);
}
};
twitterStream.addListener(listener);
FilterQuery filterQuery = new FilterQuery();
filterQuery.track(new String[] { PropUtil.getInstance().getProp("Keyword1"),
PropUtil.getInstance().getProp("Keyword2") });
twitterStream.filter(filterQuery);](https://image.slidesharecdn.com/jawsdayslt20140315up-140315190450-phpapp02/85/Kinesis-27-320.jpg)
![Tweet を分析して数値化
Kinesis
Stream
Twitter4J Kinesis MeCab Dynamo Unity
Tagger tagger = new Tagger("-Ochasen");
tagger.parse(status.getText().replaceAll("¥n", ""));
Node node = tagger.parseToNode(status.getText().replaceAll("¥n", ""));
Double sum = 0.0;
int count = 0;
for (; node != null; node = node.getNext()) {
String[] mecabArray = node.getFeature().split(",");
String originalWord = node.getSurface();
if (!mecabArray[6].equals("*")) {
originalWord = mecabArray[6]; // 基本形
}
String feature = mecabArray[0];
if (feature.equals("名詞") || feature.equals("動詞")
|| feature.equals("形容詞”) || feature.equals("形容動詞")
|| feature.equals("副詞")) {
// Positive or Negative
sum+=PositiveNegativeJudge.getInstance().getDouble(originalWord+":"+feature);
count++;
}
}
Double point = Math.floor((sum / count + 1.0) * 100.0 / 2.0);](https://image.slidesharecdn.com/jawsdayslt20140315up-140315190450-phpapp02/85/Kinesis-29-320.jpg)
![おまけ（LTの裏側）
[発表直前]
DyanamoDBからデータを取り出すプロセスが高頻度で死亡する事案が発生
ec2-user 14685 0.1 4.2 1625848 71584 ? Sl 02:10 0:27 java KinesisPutter
ec2-user 18622 2.2 4.8 1787796 82660 pts/1 Sl 06:01 0:21 java -Djava.library.path=.:/usr/local/bin/mecab-java KinesisGetter
ec2-user 18944 22.0 4.2 1618412 71836 ? Sl 06:16 0:08 java DynamoJsonCreator
↓
ec2-user 14685 0.1 4.2 1625848 71584 ? Sl 02:10 0:27 java KinesisPutter
ec2-user 18622 2.2 4.9 1839496 83452 pts/1 Sl 06:01 0:21 java -Djava.library.path=.:/usr/local/bin/mecab-java KinesisGetter
cronでプロセスを再起動するように泥臭い対応をしていましたが
もし運悪くプロセス死亡時にデモをすると、リアルタイムに最新データを
取り出せない可能性がありました。困った・・・
*/2 * * * * bash /home/ec2-user/KinesisTwitter/check_putter.sh > /home/ec2-user/cron.log.putter.txt 2>&1
*/2 * * * * bash /home/ec2-user/KinesisTwitter/check_getter.sh > /home/ec2-user/cron.log.getter.txt 2>&1
*/2 * * * * bash /home/ec2-user/KinesisTwitter/check_create_json.sh > /home/ec2-user/cron.log.create.json.txt 2>&1](https://image.slidesharecdn.com/jawsdayslt20140315up-140315190450-phpapp02/85/Kinesis-51-320.jpg)
[初音ミク] Kinesis でフリーザを撃て！
- 5. 今回は Kinesis
- 8. ひらめいた
- 10. フリーザを倒せるんじゃね？
- 11. つまり
- 12. 元気を集めて
- 13. Kinesis に入れて
- 14. 見える化
- 15. フリーザを倒す
- 16. (ﾟーﾟ*;) なるほど
- 17. (́Д｀;) 大丈夫か俺
- 18. まずは、考えた
- 19. 元気を集める方法 Tweet 元気 ・形態素解析 ・感情分析 ・元気の数値化 1Tweet ＝ Max 100 pt 元気を数値に変換
- 20. ー Step1. 形態素解析 本日は晴天なり 本日 / は / 晴天 / なり MeCab
- 21. ー Step2. 感情解析 本日 / は / 晴天 / なり Positive or Negative -1.0∼+1.0で評価 +0.63-0.18
- 22. ー Step3. 数値化 元気 72 pt 本日 / は / 晴天 / なり +0.63-0.18
- 24. 53万pt を超えろ
- 25. ということで、作った
- 26. 仕組み Kinesis Stream Twitter4J Kinesis MeCab Dynamo Unity 見える化分析KinesisTweet #jawsdaysのTLの元気で フリーザと戦う
- 27. Tweet を Stream に入れる Kinesis Stream Twitter4J Kinesis MeCab Dynamo Unity TwitterStream twitterStream = new TwitterStreamFactory().getInstance(); StatusListener listener = new StatusListener() { @Override public void onStatus(Status status) { String key = RandomStringUtils.randomAlphanumeric(10); String json = DataObjectFactory.getRawJSON(status); PutRecordRequest putRecordRequest = new PutRecordRequest(); putRecordRequest.setStreamName(PropUtil.getInstance().getProp("StreamName")); putRecordRequest.setData(ByteBuffer.wrap(json.getBytes(Charset.forName("UTF-8"))); putRecordRequest.setPartitionKey(key); PutRecordResult putRecordResult = kinesis.putRecord(putRecordRequest); } }; twitterStream.addListener(listener); FilterQuery filterQuery = new FilterQuery(); filterQuery.track(new String[] { PropUtil.getInstance().getProp("Keyword1"), PropUtil.getInstance().getProp("Keyword2") }); twitterStream.filter(filterQuery);
- 28. Tweet を Stream から出す Kinesis Stream Twitter4J Kinesis MeCab Dynamo Unity private void processRecordsWithRetries(List<Record> records) { for (Record record : records) { boolean processedSuccessfully = false; String data = null; for (int i = 0; i < NUM_RETRIES; i++) { try { // Get Data data = decoder.decode(record.getData()).toString(); Status status = DataObjectFactory.createStatus(data ); // MeCab something // ・・・・・・ processedSuccessfully = true; break; } catch (Throwable t) {} } } }
- 29. Tweet を分析して数値化 Kinesis Stream Twitter4J Kinesis MeCab Dynamo Unity Tagger tagger = new Tagger("-Ochasen"); tagger.parse(status.getText().replaceAll("¥n", "")); Node node = tagger.parseToNode(status.getText().replaceAll("¥n", "")); Double sum = 0.0; int count = 0; for (; node != null; node = node.getNext()) { String[] mecabArray = node.getFeature().split(","); String originalWord = node.getSurface(); if (!mecabArray[6].equals("*")) { originalWord = mecabArray[6]; // 基本形 } String feature = mecabArray[0]; if (feature.equals("名詞") || feature.equals("動詞") || feature.equals("形容詞”) || feature.equals("形容動詞") || feature.equals("副詞")) { // Positive or Negative sum+=PositiveNegativeJudge.getInstance().getDouble(originalWord+":"+feature); count++; } } Double point = Math.floor((sum / count + 1.0) * 100.0 / 2.0);
- 30. DynamoDB で集計 Kinesis Stream Twitter4J Kinesis MeCab Dynamo Unity private static PutItemRequest createPutItemRequest(String id, String datetime, String name, String screenName, String text, Double value) { Map<String, AttributeValue> putItems = new HashMap<String, AttributeValue>(); putItems.put("AppName", new AttributeValue().withS(PropUtil.getInstance().getProp("ApplicationName"))); putItems.put("Datetime/SerialNumber", new AttributeValue().withS(datetime+"/"+id)); putItems.put("ScreenName", new AttributeValue().withS("@" + screenName)); putItems.put("Name", new AttributeValue().withS(name)); putItems.put("Text", new AttributeValue().withS(text)); putItems.put("Value", new AttributeValue().withN(Double.toString(value))); PutItemRequest putItemRequest = new PutItemRequest().withTableName(PropUtil.getInstance().getProp("DynamoDbTableNameDetail")).withIte m(putItems); return putItemRequest; }
- 32. 集計結果を JSON で Unityへ
- 33. Unity で見える化 Kinesis Stream Twitter4J Kinesis MeCab Dynamo Unity ミクさんに お手伝いしてもらう
- 34. おねだりするミクさん
- 36. かめはめ波 かめはめ波
- 37. フリーザ フリーザ
- 38. デモします
- 39. 負けバージョン
- 42. こんなこともあろうかと 仕込んでおいた 集計プログラム if (tweet.indexOf(“芸人イケメン”)) != -1) { point = 530000.0; }
- 44. みんなの応援が 届く
- 45. 再び デモします
- 48. やったね！
- 51. おまけ（LTの裏側） [発表直前] DyanamoDBからデータを取り出すプロセスが高頻度で死亡する事案が発生 ec2-user 14685 0.1 4.2 1625848 71584 ? Sl 02:10 0:27 java KinesisPutter ec2-user 18622 2.2 4.8 1787796 82660 pts/1 Sl 06:01 0:21 java -Djava.library.path=.:/usr/local/bin/mecab-java KinesisGetter ec2-user 18944 22.0 4.2 1618412 71836 ? Sl 06:16 0:08 java DynamoJsonCreator ↓ ec2-user 14685 0.1 4.2 1625848 71584 ? Sl 02:10 0:27 java KinesisPutter ec2-user 18622 2.2 4.9 1839496 83452 pts/1 Sl 06:01 0:21 java -Djava.library.path=.:/usr/local/bin/mecab-java KinesisGetter cronでプロセスを再起動するように泥臭い対応をしていましたが もし運悪くプロセス死亡時にデモをすると、リアルタイムに最新データを 取り出せない可能性がありました。困った・・・ */2 * * * * bash /home/ec2-user/KinesisTwitter/check_putter.sh > /home/ec2-user/cron.log.putter.txt 2>&1 */2 * * * * bash /home/ec2-user/KinesisTwitter/check_getter.sh > /home/ec2-user/cron.log.getter.txt 2>&1 */2 * * * * bash /home/ec2-user/KinesisTwitter/check_create_json.sh > /home/ec2-user/cron.log.create.json.txt 2>&1
- 53. 参考（感謝） ドラゴンボール Amazon Kinesis http://aws.amazon.com/jp/kinesis/ Amazon DynamoDB http://aws.amazon.com/jp/dynamodb/ Twitter4J http://twitter4j.org/ja/ MeCab http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html MeCab-java 単語感情極性対応表 http://www.lr.pi.titech.ac.jp/ takamura/pndic_ja.html Unity http://japan.unity3d.com/ MikuMikuDcance for Unity http://mmd-for-unity-proj.github.io/mmd-for-unity/ Lat式ミク http://dic.nicovideo.jp/a/lat フリーザ http://ux.getuploader.com/karota318/ かめはめ波モーション http://www.nicovideo.jp/watch/sm15093547 歩き・スキップモーション http://www.nicovideo.jp/watch/sm21263509 待機モーション http://www.nicovideo.jp/watch/sm18961728 やられモーション http://www.nicovideo.jp/watch/sm19073965 日常モーション http://www.nicovideo.jp/watch/sm18015670
- 54. ありがとうございました