De text a deep text ranking framework with bert
- 1. DeText: A Deep Text Ranking Framework with BERT 자연어 처리팀 김은희, 백지윤, 주정헌, 진명훈
- 2. Background Introduction DeText Framework with BERT Experiments Application
- 3. “Ranking is the most important component in s search system” “Traditional ranking approaches reply on word/phrase exact matching” “To enhance contextual modeling, contextual embedding such as BERT has been proposed” “Heavy BERT computation on the fly” Introduction “Interaction based structure(query and document) precludes embedding pre-computing ”
- 4. Background Introduction DeText Framework with BERT Experiments Application
- 5. Search and Recommendation Ecosystem (LinkedIn) Raw Query Member Profile Text Processing Query Tagging Query Intention Profile / Behavior Understanding Query understanding User Intention Understanding Retrieval Targeting Candidate Selection Ranking Spell Check Query Suggestion Auto Complete Online Assistance Language Detection Tokenization Normalization/ Accent Handling Document Understanding Search Recommendation Deep NLP
- 6. Deep NLP based Ranking Models (Related Work) 랭킹 시스템에서 일반적인 딥러닝 모델은 두 Text의 매칭 문제로 보는데, 접근법에 따라 두가지로 나눔 representation-focused Interaction-focused 각 Text의 의미를 잘 표현하는 구조에 집중하여 Query, Document의 의미 매칭에 집중 두 Text의 상호작용을 계층적으로 배워 관련성을 매칭 시키는데 집중 검색어와 검색 결과를 각각 input 으로 모델에 입력 -> 대칭적 아키텍처 검색어와 검색 결과의 연산을 거쳐 계층적인 일치도를 파악 -> 피라미드모양의 아키텍처 성능 속도 < DSSM, ARC-I Deep Match, ARC-II > BERT 는 query string과 document string이 하나의 문장으로 연결되기 때문에 interaction-focused로 분류 모든 단어의 pariwise 비교로 시간이 오래 걸림
- 7. LTR(Learning To Rank) Metric MRR(Mean Reciprocal Rank) MAP(Mean Average Precision) 가장 상위의 관련 문서의 위치만을 고려 간단하다 사용자에게 가장 관련있는 컨텐츠가 상위에 위치 되어 있는가를 평가할때 용이 관련 문서의 갯수가 달라도 첫번째 관련 문서의 위치가 같으면 같은 점수 2,3번째 관련 문서는 평가하지 않음 관련 문서의 위치까지의 목록에 대해서 precision을 계산 사용자별로 평균내고 그 결과를 다시 평균 우선순위를 고려한 성능 평가가 가능 문서의 관련 여부를 binary로 나눌수 있으면 좋은 평가 모델 사용자에게 더 관련성 있는 문서를 상위로노출 하기위한 평가로서는 부족
- 8. LTR(Learning To Rank) Metric 더 관련 있는 결과를 상위에 노출 시키는지에 대한 평가 NDCG(Normalized Discounted Cumulative Gain)
- 9. LTR Loss Function (Pointwise, Pairwise, Listwise) • 기존의 TF-IDF, BM25 등 키워드-문서 사이의 관련도를 잘 모델링 해서 검색 품질에 집중 했다면 • LTR(Learning to Rank)는 문서를 “어떻게 더 잘 정렬할 것인가?” • 구체적인 score 보다는 list order를 학습 하나의 아이템 단위의 접근, ranking을 prediction 한다는 관점과는 맞지 않음 아이템을 쌍 으로 활용, 랭킹의 ground truth와 가장 많은 pair가 일치하는 순서를 찾아냄. pair의 조합 최적화가 중요 Q에 반환된 문서 리스트 전체를 ground thruth와 비교, 랭킹 순위를 가장 잘 나열하는게 목적이라서 복잡도가 높고, 결과가 좋음 Pointwise Pairwise Listwise
- 10. Background Introduction DeText Framework with BERT Experiments Application
- 11. DeText Framework Design Input Text Data • Source 는 queries or user profiles • Target은 documents • Source, Target 에 여러 Field 가 있을 수 있음 • Better and more robust results Token Embedding Layer • d x m , m tokens, d token embedding dimensions • CNN/LSTM : worlds • BERT : subwords
- 12. DeText Framework Design Text Embedding Layer • Representation base model 구조에서 각 필드마다 독립 임베딩 • BERT, CNN, LSTM 등 다양한 딥러닝 모델을 사용 가능
- 13. DeText Framework Design Interaction Layer • Source와 target의 Text embedding 이 생성 후 발생 • 3개의 Interaction methods (cosign similarity, Hadamard product, Concatenation) Traditional Feature Processing • Hand-crafted features • Personalization feature • Social networks features • User behavior feature
- 14. DeText Framework Design MLP(Multilayer Perceptron) Layer Deep features와 traditional features 간의 연관성을 추출
- 15. DeText Framework Design LTR(Learning to Rank) Layer • Pointwise, Pairwise, Listwise 를 제공 • Click probability 이 중요한 모델인 pointwise 사용 • 상대적인 위치가 중요하면 pairwise/listwise 사용
- 16. DeText Framework Design 1. Configurable input fields : query, user fields, document fields 2. Different deep network module choices : CNN, LSTM, BERT 3. Multiple interaction features available : Cosine similarity, Hadamard product, Concatenation 4. Deep and wide fashion for traditional features 5. Flexible learning-to-rank / classification loss : pointwise, pairwise, list wise Optimization : Adam, sgd Metrics : NDCG@k, precision@k, MRR, AUC, …
- 17. Online Deployment General Challenge * computation grows linearly with # of documents Challenge for BERT serving * 12-layer Google BERT has 110 million parameters * Could be 30x times slower than CNN • 1 step : MLP model uses traditional features only • 2 step : Top k ranked documents are sent to DeText model • Benefit • Easy to implement and deploy • MLP ranker can filter out a large amount of irrelevant documents • CNN is applied to a small set of candidates Two pass ranking DeText-CNN with Real-time Inference • Compact CNN structure with small dimensions can perform well • CNN computation time grows linearly with # of retrieved documents
- 18. Online Deployment • General Challenge * computation grows linearly with # of documents • Challenge for BERT serving * 12-layer Google BERT has 110 million parameters * Could be 30x times slower than CNN • DeText uses representation based model, adopt precomputing approach • For Offline • document embeddings are pre-computed with BERT • Key-value store, key is document id, value is embedding vectors (daily) • For Online • Fetch the document embeddings from pre-computed embedding store • Computation cost -> network communication cost Embedding Pre-computation LiBERT ( LinkedIn pretrained BERT model) • Fewer parameters -> smaller latency • Better relevance
- 19. Background Introduction DeText Framework with BERT Experiments Application
- 20. Dataset 2개월간 트래픽에서 샘플링된 clickthrough data • People Search 500만 쿼리 Document : member profiles (Headline, current position, pass position) • Job search 150만 쿼리 Document : job post title, company name • Help center 34만 쿼리 Document : title, example question Metrics • Offline/online metrics 회사 기밀. 상대적인 값만 표기 • CTR@5 • 클릭받은 검색 세션 비율 (30분) • 검색에서의 job application 수 • 하루에 문서를 재검색하지 않고 클릭한 사용자의 비율 (다시 검색 하지 않고) Baseline Models • XGBOOST - Hyper-parameters(pairwise vs list wise, number of tree) LinkedIn search engine에서 최적화 되어 있음 • Hand-crafted traditional features • Text matching features : cosine similarity, jacquard similarity , semantic matching features • Personalization features : social network distance between the searcher and profiles, searcher’s title overlapping with the job post title • Document popularity features : static rank of a member profile, clickthrough rate of a job
- 21. Search Ranking Experiments (Offline Experiments) • DeText-MLP : DeText with only MLP and LTR layers on traditional features • People Search, Job Search 도 성능 향상이 크지만, Help Center 가 가장 큰 개선이 됨 • Help Center Search : 유사한 시나리오의 문서가 많음, “how to hide my profile updates” vs “sharing profile changes with your networks” • People Search : exact matching이 중요. “Twitter” vs “Facebook” , word embedding은 비슷 하지만 정확하게 결과를 리턴 해줘야 • Job Search : Help Center Search 과 People Search 중간 Overall LiBERT vs BERTBASE • People Search, Job Search는 DeText-LiBERT가 상당히 개선됨 • Help Center는 구성된 어휘가 wikipedia와 가깝다. 비슷한 결과를 얻음 • 단, LiBERT가 BERTBASE 보다 1/3 파라미터만 사용 함으로 가치가 있음
- 22. Text Embedding Interaction Traditional Features • Interaction method는 cosine + Hadamard (+ concat) 조합이 최상의 결과를 얻을 수 있음 • Traditional features 를 사용 하는것이 중요 • Element-wise rescaling, normalization 이 도움이 됨 Search Ranking Experiments (Offline Experiments)
- 23. Multiple Fields • 여러 필드를 사용 하는것이 중요 • Single field 에서는 가장 중요한 필드가 사용됨 (headline or title) • Traditional features 는 제외 Search Ranking Experiments (Offline Experiments)
- 24. Search Ranking Experiments (Online Experiments) • 2주 이상 20% 이하로 각 모델로 수행 • LiBERT 모델은 daily로 embedding을 새로 고침 • Job Search 같은 경우 새로운 job posting이 빈번 해서 DeText-LiBERT 를 feature work로 남겨둠 • People search, Help center search에서 DeText-LiBERT 가 일관되게 우수 • Importance of contextual embedding on capturing deep semantics between queries and documents
- 25. Search Ranking Experiments (Latency Performance) • Two pass ranking 가 latency 줄이는데 효과적임. • A/B 테스트에서 all-decoding, two pass ranking의 관련성 차이는 없었음 • DeText-LiBERT 모델을 통해서 서비스 가능한 latency 확보 • DeText-BERTBASE 보다 빠름 Time : additional latency compared to XGBoost baseline
- 26. Background Introduction DeText Framework with BERT Experiments Application
- 27. Representative Deep NLP Tasks
- 28. Example : Query Intent Classification Input Predict : Search Intent • Query Text • Dense Features • People • Job • Content • Company • School • Group • Learning
- 29. Example : Job Recommendation, Query Auto Completion Job Recommendation • Input : (user id, job post id, applied for the job or no) • Source Field : headline, job title, company, skill • Target Field : including job title, job company, job skill, job country • Baseline : logistic regression • Pointwise 사용 (MLP의 hidden larger 없이 사용) • Traditional features는 baseline 과 동일 Query Auto Completion • Source Field : headline, job title, company title • Target Field : completed query • Baseline : XGBoost with traditional hand-crafted features • listwise LTR 사용
- 30. Q&A
- 31. 감사합니다.