Build a BERT-As-Service with KFServing

[jazzwang]

• 演講主題 Talk Topic: Build a BERT-As-Service with KFServing
• 講者姓名 Name: Penny Sun
• 單位名稱 Organization & Job Title: LINE/Data Engineer
• 講者簡介 Self Introduction:

LINE Taiwan 的資料工程師, 主要提供大數據的解決方法與 ML 平台開發, 也是 ML 的愛好者, 有參與自動關鍵詞擷取, NER, AI chatbot 等中文 NLP 相關工具與聊天機器人的開發。

• 講題摘要 Abstract:

大家都知道 BERT 在自然語言處理上可以有很好的表現, 但在應用到服務端上, 龐大的 BERT 模型會造成系統很大的負擔。在這個演講中，我會介紹怎麼用 KFServing 來建立一個 BERT 服務讓資源可以更有效的被利用。

這個演講會包含以下主題:

1. What is Kubeflow/KFServing?
2. Why we need BERT as a service & what is the current problem?
3. How to build a BERT as service with KFServing?
4. KFServing monitoring