"人工知能 API" Microsoft Azure Cognitive Services や Microsoft Azure Applied AI Services を使うと、画像分析を行うエンジンをノーコーディングで利用、作成できます。
- Face API は画像から人間の顔を検出し、分析するエンジンがすぐに Web API で利用できます。
- Computer Vision は画像分析(物体検出＆分析、OCR、タグ＆キャプション付与 など) を行うエンジンを学習などの作業不要なく Web API で利用できます。
- Custom Vision Service は、ご自分で用意した画像をアップロードしてタグ付け、学習させることで、画像の分類 (Classification) や 画像に写っているモノの抽出 (Object Detection) を行うエンジンを簡単に作成でき、Web API として利用できます。また TensorFlow / CoreML / ONNX、または Docker コンテナー向けに Export して利用することもできます。
- Form Recognizer は帳票、IDなどの定型フォーム画像を読み取るエンジンを作成、すぐに Web API で利用できるサービスです。
- Face API (Emotion)
- Face API (Mask Recognition)
- Computer Vision (Read)
- Custom Vision (Classification)
- Form Recognizer
- Face API (C# | HTML/JavaScript)
- Computer Vision (HTML/JavaScript)
- Custom Vision (C# | HTML/JavaScript)
- Custom Vision (model export) (ONNX & UWP(C#))
- Form Recognizer (C# | HTML/JavaScript))
Face API の エンドポイント(URL) と キー (Subscription Key) にご自分のサブスクリプションの情報を入力します。 Key1 に表示されている文字列が キー (Subscription Key) になります。
Face.cshtml.cs MaskRecognition.cshtml.cs
// Setting for using Face API
private const string faceSubscriptionKey = "YOUR_SUBSCRIPTION_KEY";
private const string faceEndpoint = "https://YOUR_LOCATION.api.cognitive.microsoft.com";Visual Studio プロジェクトを開き、NuGet パッケージの復元を行います。ビルド＆起動して、localhost:<YOUR_PORT>/Face (Emotion) または localhost:<YOUR_PORT>/MaskRecognition にアクセスし、画像をアップロードして動作を確認できます。
faceapi_script.js facemask_script.js
// Face API の Subscription Key と URL をセット
// サブスクリプション画面に表示される URL および Key をコピーしてください
var subscriptionKey = "YOUR_SUBSCRIPTION_KEY";
var endpoint = "https://YOUR_ENDPOINT/";FaceAPI.html を開き、画像をアップロードして動作を確認できます。
Computer Vision API の エンドポイント(URL) と キー (Subscription Key) にご自分のサブスクリプションの情報を入力します。 Key1 に表示されている文字列が キー (Subscription Key) になります。
// Computer Vision API の Subscription Key と URL をセット
// サブスクリプション画面に表示される URL および Key をコピーしてください
var subscriptionKey = "YOUR_SUBSCRIPTION_KEY";
var endpoint = "https://YOUR_LOCATION.api.cognitive.microsoft.com/";Read.html を開き、画像をアップロードして動作を確認できます。
Custom Vision のエンドポイント(URL) と キー (Prediction Key) にご自分のサブスクリプション および 作成した Custom Vision App の情報を入力します。
CustomVisionClassification.cshtml.cs
CustomVisionDetection.cshtml.cs
// Setting for using Custom Vision
private const string cvPredictionKey = "YOUR_CUSTOMVISION_PREDICTION_KEY";
private const string cvEndpoint = "https://YOUR_LOCATION.api.cognitive.microsoft.com";
private const string cvProjectId = "YOUR_CUSTOMVISION_PROJECTID";
private const string cvPublishName = "YOUR_CUSTOMVISION_PROJECT_PUBLISHNAME";//"Iteration1"
Visual Studio プロジェクトを開き、NuGet パッケージの復元を行います。ビルド＆起動して、localhost:<YOUR_PORT>/CustomVisionClassiication または CustomVisionDetection にアクセスし、画像をアップロードして動作を確認できます。
// Custom Vision の Subscription Key と URL をセット
// サブスクリプション画面に表示される URL および Key をコピーしてください
var predictionKey = "YOUR_PREDICTION_KEY";
var endpoint = "https://YOUR_LOCATION.api.cognitive.microsoft.com/customvision/v3.0/Prediction/YOUR_APP_ID/classify/iterations/YOUR_APP_ITERATION/image";CustomVision.html を開き、画像をアップロードして動作を確認できます。
動作確認環境: Windows 10 (Build 18362.175), Windows SDK 10.0.17763, Visual Studio 2019 (v16.1)
一式をローカルに保存して、Visual Studio で開き、ビルドを行います。(必要なライブラリーが読み込まれます) デフォルトで ONNX モデルが含まれていますので、テスト画像 をロードして動作を確認できます。
Custom Vision Portal で Compact タイプのプロジェクトを作成します。(既存のプロジェクトを Compact に変更するには、設定画面から "Compact" に変更して再学習させます。)
ONNX (v1.2) でモデルを Export し、ダウロードします。
ダウンロードした ONNX モデルを CustomVision.onnx に名前を変更し、Assets フォルダーにある CustomVision.onnx と入れ替えます。
再度ビルド＆デバック実行を行い、動作を確認してください。
Form Recognizer の エンドポイント(Endpoint URL)、キー (Subscription Key) および モデル Id (ModelId) の箇所にご自分の情報を入力します。
Azure Portal から
- エンドポイント に表示されている文字列が エンドポイント(Endpoint URL) になります。
- キー1 に表示されている文字列が キー (Subscription Key) になります。
Form OCR Tools から
- Model ID に表示されている文字列が モデル Id (ModelId) になります。
// Setting for using FormRecognizer
private const string frKey = "YOUR_FORMRECOGNIZER_KEY";
private const string frEndpoint = "https://YOUR_LOCATION.api.cognitive.microsoft.com/";
private const string frModelId = "YOUR_FORMRECOGNIZER_MODELID";Visual Studio プロジェクトを開き、NuGet パッケージの復元を行います。ビルド＆起動して、localhost:<YOUR_PORT>/FormRecognition にアクセスし、画像をアップロードして動作を確認できます。
// Form Recognizer の Subscription Key と URL をセット
// Azure Portal 画面に表示される URL および Key をコピーしてください
var subscriptionKey = "YOUR_SUBSCRIPTION_KEY";
var endpoint = "https://YOUR_LOCATION.api.cognitive.microsoft.com/";
// Form Recognizer の Model Id をセット
// FOTT ツールに表示される Model Id をコピーしてください
var modelId = "YOUR_MODEL_ID";FormRecognizer.html を開き、画像をアップロードして動作を確認できます。