GKEとgRPCで実装する多言語対応・スケーラブルな内部API

GKEとgRPCで実装する
多言語対応・スケーラブルな内部API
高橋秀平
2018/5/26 JJUG CCC Spring

Analytics Innovation Company
©BrainPad Inc.
Strictly Confidential
1
自己紹介
名前: 高橋秀平
所属: 株式会社ブレインパッド
仕事: インターネット広告関連ツール開発
Java歴: 5年くらい

©BrainPad Inc.
2
話すこと
インターネット広告API呼び出しサービスを
Java + GKE + gRPCで開発している経験を元に、
実際のシステム開発に関するTipsをご紹介します

©BrainPad Inc.
3
アジェンダ
• gRPCとは
• GKEとは
• 実装上のTips
• ヘルスチェック
• エラーの受け渡し
• シャットダウン
• Java ⇔ protobuf 変換

©BrainPad Inc.
4
gRPCとは

©BrainPad Inc.
5
gRPCとは
• Googleによって開発され、2015年にオープンソース化されたRPCフレームワーク
• HTTP/2 による通信
• Protocol Buffer を IDL として採用
• クライアント・サーバともに Java, go, Python 等複数言語に対応
• 高速かつ高機能
• Cloud Native Computing Foundationの6番目のプロジェクト
• Google Ads API (beta) では JSON REST形式の他にgRPC形式をサポート

©BrainPad Inc.
6
gRPCとは
• 利用の流れ
• .protoファイルにサービスやデータの定義を記述する
• .protoファイルから各言語のソースコードを生成する
• サーバサイド・クライアントサイドを実装する

©BrainPad Inc.
7
サービスやデータの定義
// サービスの定義
service Greeter {
// Sends a greeting
rpc SayHello (HelloRequest) returns (HelloReply) {}
}
// リクエスト・レスポンスの型の定義
message HelloRequest {
string name = 1;
}
message HelloReply {
string message = 1;
}

©BrainPad Inc.
8
service Greeter {
// Sends a greeting
}
string name = 1;
}
string message = 1;
}

©BrainPad Inc.
9
service Greeter {
// Sends a greeting
}
string name = 1;
}
string message = 1;
}

©BrainPad Inc.
10
.protoファイルから各言語のソースコードを生成する
• protoc コマンドを利用
protoc --proto_path=src --java_out=build/gen src/greeter.proto
• Mavenを利用している場合は os72 / protoc-jar-maven-plugin なども利用可能

©BrainPad Inc.
11
サーバサイドの実装
@GRpcService
public class GreeterImpl extends GreeterGrpc.GreeterImplBase {
@Override
public void sayHello(HelloRequest req,
StreamObserver<HelloReply> responseObserver) {
HelloReply reply = HelloReply.newBuilder()
.setMessage("Hello " + req.getName())
.build();
responseObserver.onNext(reply);
responseObserver.onCompleted();
} // ※ 参考
service Greeter {
}

©BrainPad Inc.
12
@GRpcService
@Override
.build();
} // ※ 参考
service Greeter {
}
.protoで定義したServiceに対応した
クラスが生成される

©BrainPad Inc.
13
@GRpcService
@Override
.build();
} // ※ 参考
service Greeter {
}
対応するメソッドをオーバーライド

©BrainPad Inc.
14
@GRpcService
@Override
.build();
} // ※ 参考
service Greeter {
}
.protoで指定した引数は第一引数
戻り値はメソッドの戻り値ではなく第二引数

©BrainPad Inc.
15
@GRpcService
@Override
.build();
} // ※ 参考
service Greeter {
}
クライアントからのリクエストは
reqからアクセス可能

©BrainPad Inc.
16
@GRpcService
@Override
.build();
} // ※ 参考
service Greeter {
}
戻り値はStreamObserverのonNextへ

©BrainPad Inc.
17
クライアントサイドの実装
private ManagedChannel channel = ManagedChannelBuilder
.forAddress(HOST, PORT)
.usePlaintext(true).build();
private GreeterGrpc.GreeterBlockingStub stub =
GreeterGrpc.newBlockingStub(channel);
public void greet(String name) {
HelloRequest request = HelloRequest.newBuilder()
.setName(name)
.build();
HelloReply response = stub.sayHello(request);
logger.info("Greeting: " + response.getMessage());
}
// ※ 参考
service Greeter {
}

©BrainPad Inc.
18
.setName(name)
.build();
}
// ※ 参考
service Greeter {
}
アクセス先や通信方法を表す
ManagedChannelオブジェクトを生成

©BrainPad Inc.
19
.setName(name)
.build();
}
// ※ 参考
service Greeter {
}
サービスのスタブを作成

©BrainPad Inc.
20
.setName(name)
.build();
}
// ※ 参考
service Greeter {
}
リクエストのオブジェクトを
構築

©BrainPad Inc.
21
.setName(name)
.build();
}
// ※ 参考
service Greeter {
}
rpc呼び出し

©BrainPad Inc.
22
GKEとは

©BrainPad Inc.
23
GKEとは
• コンテナ化されたアプリケーションをデプロイするためのマネージド環境
• Kubernetesのクラスタを自動でセットアップしてくれる
• GCPとのネイティブな連携
• アクセス制御
• モニタリング・ロギング
• ネットワーク・ファイアウォール・ロードバランサ等

©BrainPad Inc.
24
GKEとは
Node Node Node
Pod
Container
Container
Cluster
Pod
Container
Container
Pod
Container

©BrainPad Inc.
25
GKEとは
Node Node Node
Pod
Container
Container
Cluster
Pod
Container
Container
Pod
Container
Container … Kubernetes上で実行する
Dockerコンテナ

©BrainPad Inc.
26
GKEとは
Node Node Node
Pod
Container
Container
Cluster
Pod
Container
Container
Pod
Container
Pod … クラスタ上で動作するプロセスに対応
いくつかのコンテナをまとめられる

©BrainPad Inc.
27
GKEとは
Node Node Node
Pod
Container
Container
Cluster
Pod
Container
Container
Pod
Container
Node … Podが動作する環境
VMだったり物理的なマシンだったり

©BrainPad Inc.
29
ヘルスチェック

©BrainPad Inc.
30
• Kubernetesでは2種類のヘルスチェック機能が存在
• Liveness チェック … プロセスが稼働しているか
• 失敗したらPodは再起動
• Readiness チェック … リクエストを受け入れる準備が整ったか
• 成功するまでリクエストが割り当てられない
• httpのリクエストかコマンド実行によるチェックしかサポートされていない
• → gRPCでのチェックはサポートされていない…
• → ヘルスチェック用のEndPointを用意→gRPCの動作チェック
• LogNet / grpc-spring-boot-starter を利用するとgRPCとHTTP
のサーバを簡単に立てられて便利

©BrainPad Inc.
31
@RestController
@RequestMapping("/health")
public class HealthCheck {
@RequestMapping(method = RequestMethod.GET)
public String get() {
// gRPCのサービス呼び出し
stub.healthCheck();
return "OK";
}
}

©BrainPad Inc.
32
@RestController
stub.healthCheck();
return "OK";
}
}
Readinessチェックと
Livenessチェックの内容は同じ

©BrainPad Inc.
33
@RestController
stub.healthCheck();
return "OK";
}
}
spring-boot-web-starter → 8080
grpc-spring-boot-starter → 6565

©BrainPad Inc.
34
@RestController
stub.healthCheck();
return "OK";
}
}
ここで(DBアクセス等を伴う)
gRPCサービスの呼び出し

©BrainPad Inc.
35
spec:
template:
spec:
containers:
- livenessProbe:
httpGet:
path: /health
port: 8080
initialDelaySeconds: 200
periodSeconds: 10
readinessProbe:
httpGet:
path: /health
port: 8080
periodSeconds: 5

©BrainPad Inc.
36
spec:
template:
spec:
containers:
- livenessProbe:
httpGet:
path: /health
port: 8080
periodSeconds: 10
readinessProbe:
httpGet:
path: /health
port: 8080
periodSeconds: 5
Livenessチェックの設定

©BrainPad Inc.
37
spec:
template:
spec:
containers:
- livenessProbe:
httpGet:
path: /health
port: 8080
periodSeconds: 10
readinessProbe:
httpGet:
path: /health
port: 8080
periodSeconds: 5
initialDelaySeconds … 200秒待ってから
最初のチェックを行う
periodSeconds … チェックの間隔

©BrainPad Inc.
38
spec:
template:
spec:
containers:
- livenessProbe:
httpGet:
path: /health
port: 8080
periodSeconds: 10
readinessProbe:
httpGet:
path: /health
port: 8080
periodSeconds: 5
Readinessチェックの設定

©BrainPad Inc.
40
• StreamObserver.onErrorを利用する
public void sayHello(HelloRequest request,
StreamObserver<HelloResponse> responseObserver) {
try {
// …
} catch (Exception e) {
responseObserver.onError(Status.INTERNAL
.withDescription(“an error occurred”)
.withCause(e) // causeはクライアントへは送信されない
.asException());
}
}

©BrainPad Inc.
41
利用可能なステータス (io.grpc.Status)
OK
CANCELLED
UNKNOWN
INVALID_ARGUMENT
DEADLINE_EXCEEDED
NOT_FOUND
ALREADY_EXISTS
PERMISSION_DENIED
RESOURCE_EXHAUSTED
FAILED_PRECONDITION
ABORTED
OUT_OF_RANGE
UNIMPLEMENTED
INTERNAL
UNAVAILABLE
DATA_LOSS
UNAUTHENTICATED

©BrainPad Inc.
42
* クライアント側ではRpcErrorの例外として受け取れる (Pythonの場合)
try:
stub.SayHello(request)
Except grpc.RpcError as e:
e.code() # => StatusCode.INTERNAL
e.details() # => “an error accurred”

©BrainPad Inc.
45
•方針
• gRPCのリクエストにタイムアウトを設定する(例: 60秒)
• ※ gRPCではクライアント側でタイムアウトを設定
• PodのterminationGracePeriodSecondsを長めに設定する
(例: 90秒)
• 各コンテナのpreStopでタイムアウトまで待つ

©BrainPad Inc.
46
• gRPCのリクエストにタイムアウトを設定する
.setName(name)
.build();
HelloReply response = stub.withDeadlineAfter(60L, TimeUnit.SECONDS)
.sayHello(request);
}

©BrainPad Inc.
47
• PodのterminationGracePeriodSecondsを長めに設定する(例: 90秒)
• 各コンテナのpreStopでタイムアウトまで待つ
spec:
template:
spec:
terminationGracePeriodSeconds: 90
containers:
lifecycle:
preStop:
exec:
command: ["sh", "-c", "sleep 60"]

©BrainPad Inc.
50
Java <-> protobuf 変換
• 既存のシステムにgRPCの機能を追加したかった
• 既存クラス
• → .proto定義
• → javaコード生成
• → 既存クラスと.protoから生成されたクラス間のコンバート
• ⇒ 既存クラスから.protoファイルとコンバータを自動生成する処理を自前で実装した
• BAData / protobuf-converter などもある
既存クラス .proto
生成された
クラス

©BrainPad Inc.
51
• Protocol Bufferには継承を表現するような機能はない
• “Don't go looking for facilities similar to class inheritance, though – protocol
buffers don't do that.” – Protocol Buffers / Basics: Java

©BrainPad Inc.
52
nullの扱いに注意
• Protocol Bufferのmessage型はuser.hasBirthDay()のようにhas{フィールド名}で値を持
つか知ることができる
• → false なら null
• 文字列や数値などのプリミティブな型はhas{フィールド名}が利用できない
• → wrappers.proto
• Enumもhas{フィールド名}が利用できない
• → .protoファイルを生成する際にnullを表す要素も生成する
// wrappers.proto
message StringValue {
// The string value.
string value = 1;
}
message Sample {
string s1 = 1;
StringValue s2 = 2;
}

©BrainPad Inc.
53
まとめ
• gRPCとGKEについて紹介
• 実際の開発で工夫した点や苦労した点を紹介
• ヘルスチェック, エラー処理, シャットダウン, 変換処理…
• 日本語、JavaでのgRPC, GKEの情報が増える一助になれば！

本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド所有の特定情報が
含まれており、これら情報に基づく本資料の内容は、御社以外の第三者に開示されること、また、本資料を評価する以外の目的で、その一部ま
たは全文を複製、使用、公開することは、禁止されています。また、株式会社ブレインパッドによる書面での許可なく、それら情報の一部または全
文を使用または公開することは、いかなる場合も禁じられております。
株式会社ブレインパッド
〒108-0071 東京都港区白金台3-2-10 白金台ビル
TEL：03-6721-7002 FAX：03-6721-7010
www.brainpad.co.jp info@brainpad.co.jp

GKEとgRPCで実装する多言語対応・スケーラブルな内部API

More Related Content

Similar to GKEとgRPCで実装する多言語対応・スケーラブルな内部API (20)

More from BrainPad Inc. (20)

GKEとgRPCで実装する多言語対応・スケーラブルな内部API