猫の手ツール

作成・資料確認日:2026年10月12日

公式資料と、このプロジェクトの実装・サンプルの実行をもとに説明します。人物の作例はAI生成、猫の写真は運営者の愛猫です。実行条件や確認できた範囲は各記事に記載しています。

ObjectDetectorで人物と猫の位置を検出する

猫の写真に「cat」というラベル付きの枠を描いてみましょう。ObjectDetectorは、画像の中にある物体の種類と位置を返すタスクです。人の顔だけを探すFaceDetectorから一歩進み、同じ画像から複数の物体を扱う方法を学びます。

この記事でできるようになること

カテゴリとスコアを読み、ピクセル座標の枠をCanvasに描ける。閾値を変えたときに、見える結果が変わる理由を説明できる。

HTMLとJavaScriptの変数・関数・イベントの基本が分かる方を対象に、MediaPipeの学習済みモデルを使うところから進めます。自分でモデルを学習させる準備は不要です。

1. 何をしたいときに使うか・モデルを選ぶ

必要な結果が「猫が写っていそう」だけなら画像分類、必要な結果が「猫はこの四角の範囲にいる」なら物体検出です。ObjectDetectorの枠はbounding box(バウンディングボックス)と呼ばれ、物体を囲う長方形を表します。耳の輪郭をぴったり切り抜く情報は含まれません。切り抜きたい場合は、さらにセグメンテーションのマスクが必要です。

最初は愛猫の写真を選びます。顔の入門記事と同じ画像なので、タスクの違いを比べられます。人の顔を対象とするFaceDetectorで結果が出なくても、この物体検出モデルには猫のカテゴリがあります。ただし、必ず2匹を別々に見つけるとは限りません。画面いっぱいの顔、隣の猫と重なる部分、体が画面外にある構図は、モデルが見慣れた猫の写真とは条件が異なります。

モデル候補選ぶときの考え方
EfficientDet-Lite0まず基本動作を確認する出発点。本サンプルはfloat16版。
EfficientDet-Lite2より大きい入力を使う候補。端末で速度と結果を比較して判断する。
SSD MobileNet V2軽量な候補。速さだけでなく見落としも比較する。

SDKを更新しても、そのままモデルの分類カテゴリが増えるわけではありません。分類できる種類はモデルが学習したラベルに依存します。猫用の結果を人物用の顔検出と混同せず、用途に必要なカテゴリをモデルの資料で確認します。モデルごとの速度・入力サイズの比較は公式のモデル一覧を参照できます。公式の端末ベンチマークを、自分のスマホでの実測値として掲載しないことも大切です。

2. まず完成したサンプルを動かす

次のデモを開き、サンプル画像を選んで「AIを読み込んで実行する」を押します。画像を選ぶだけではAIを実行しません。最初のボタン操作でSDK・WASM・モデルを取得し、次からは初期化済みのタスクを再利用します。

ObjectDetectorで人物と猫の位置を検出する:ブラウザでの実行画面。入力画像と、実際のモデルから得た結果・実行情報を表示。
本プロジェクトの画像を使い、上のサンプルをPCのChromeで実行したキャプチャです。SDK 0.10.34、EfficientDet-Lite0 float16、長辺最大960 px。数値は画面に表示された実行結果で、端末や画像によって変わります。スマホの実機結果を示す画像ではありません。

今回の実行で観察したこと

愛猫2匹の写真に対して、catの候補が2件返りました。条件はPCのChrome、SDK 0.10.34、EfficientDet-Lite0 float16版1、scoreThreshold: 0.35、候補の上限15件です。今回は2件ですが、これは1枚の写真での観察です。猫の個体名を識別できた結果でも、ほかの猫写真で必ず数が合うという評価でもありません。2つの枠がどこを囲うか、画像とJSONを一緒に確認します。

デモに同梱する人物はAI生成画像、猫は運営者の愛猫の写真です。任意のJPEG・PNG・WebPも読み込めますが、入力画像を推論用サーバーへ送信する処理はありません。SDKとモデルの取得は外部への通信を行います。時刻欄は初期化を除く推論・結果加工・描画の計測で、速度を保証する数字ではありません。

3. ZIPを展開して自分のPCで動かす

VS Codeでフォルダーを開く方法や、app.jsの編集・保存が初めてなら、導入記事のエディター準備と「保存 → ブラウザ更新 → 実行」の手順を先に確認してください。下では、このサンプルの起動に必要な操作を示します。

この教材はHTMLとJavaScriptだけで動く独立サンプルです。サイト全体のAstroプロジェクトをインストールする必要はありません。SDKをCDNから取得するため、起動時のインターネット接続は必要です。画像は推論用サーバーへ送信せず、ブラウザ内で処理します。

  1. 上のZIPをダウンロードします。WindowsではZIPを右クリックして「すべて展開」を選びます。
  2. 展開したフォルダーを開き、index.htmlとapp.js、person.jpg、cat.jpg、README.txtが並んでいることを確認します。さらに同じ名前のフォルダーがある場合は、その中へ進みます。
  3. エクスプローラーのアドレス欄へpowershellと入力してEnterを押します。このフォルダーを作業場所にした端末が開きます。
  4. 次のコマンドでNode.jsとnpmがあるか確認します。
node --version
npm.cmd --version

バージョンの数字が出れば準備できます。「認識されません」と出る場合はNode.js公式のダウンロードページからLTS版を導入し、端末を開き直します。Node.jsはこの例ではAIを実行するためではなく、HTTPサーバーを起動するために使います。

npx.cmd --yes http-server . -p 8080

初回はHTTPサーバーのツールを取得することがあります。端末にアドレスが表示され、そのまま入力を待つ状態になればサーバーが動いています。ブラウザでhttp://localhost:8080を開きます。画像の選択画面が出たら成功です。端末は実行中のまま残します。

Mac・Linuxはnpm --version、npx --yes http-server . -p 8080に読み替えます。Windowsの.cmdは、PowerShellのスクリプト実行制限に当たりにくい呼び出し方です。HTMLをダブルクリックしてfile://で開くとモジュールの読み込みが制限されることがあるため、HTTPで開きます。

8080が使用中ならコマンドのポートを8081へ変え、開くURLもhttp://localhost:8081に変えます。終了するときは端末でCtrl+Cを押します。コードを修正したら保存し、ブラウザを再読み込みしてから実行します。古い結果が残る場合は、開発者ツールのNetworkでキャッシュを無効にして再読み込みします。

4. AIの出力を自分のJavaScriptへつなぐ

結果はresult.detectionsという配列です。配列の各要素にboundingBoxとcategoriesが入ります。originXとoriginYは枠の左上、widthとheightは枠の大きさです。この記事のサンプルでは、縮小した入力Canvasを推論に渡すため、座標もそのCanvasのピクセル値です。

たとえばCanvasの横幅が960 pxで、枠の横幅が300 pxなら、そのままstrokeRect()に渡せます。画面上の表示幅が480 pxでも、Canvas内部の幅まで480に書き換える必要はありません。CSSによる表示縮小と、描画用の座標を分けて考えます。元画像へ加工を戻すときは、元画像の幅を入力Canvasの幅で割った倍率を座標へ掛けます。

categories[0].categoryNameにはカテゴリ名、scoreには推定スコアが入ります。サンプルの0.35は表示する候補の足切り条件です。「35%以上なら正しいと認定する」という意味ではありません。高いスコアで間違うこともあり、低いスコアに本物が含まれることもあります。JSONに現れた文字列をそのまま画面へ表示すると、モデルが実際に返した候補を追えます。

候補数は、実際に写る物体の数ではありません。同じ猫へ複数の枠が出る、1つの枠が複数の猫を囲う、小さな物体が返らないなどの違いがあります。数を使うアプリを作るなら、画像を見て確認できるUIを残し、候補をユーザーが修正できる設計にします。本サンプルは枠とJSONを並べることで、数値をそのまま正解だと受け取らない練習ができます。

次は処理の中心だけを抜き出した例です。inputCanvasやタスクの変数は、すでに初期化済みとします。この数行だけをHTMLへ貼ると動くという意味ではありません。実際に動かすコードは次の完全版を使い、中心となるAPIをこの短い例で確認します。

const result = detector.detect(inputCanvas);
for (const detection of result.detections) {
  const box = detection.boundingBox;
  const category = detection.categories[0];
  context.strokeRect(box.originX, box.originY, box.width, box.height);
  console.log(category.categoryName, category.score);
}

5. 完全なコードを確認する

index.htmlは操作画面とCanvasを用意し、app.jsは画像選択・モデル初期化・推論・描画を担当します。画像を読み込むawait image.decode()の後にCanvasへ描き、読み込み前の画像を推論へ渡さないようにしています。GPUの初期化が失敗した場合はCPUで再試行し、両方失敗した場合は理由を画面とConsoleへ表示します。

index.htmlの全文を開く
<!doctype html><html lang="ja"><head><meta charset="utf-8"><meta name="viewport" content="width=device-width, initial-scale=1"><meta name="robots" content="noindex,follow"><title>ObjectDetectorで人物と猫の位置を検出する | MediaPipe実行サンプル</title><style>
      :root { color-scheme: light; font-family: system-ui, -apple-system, BlinkMacSystemFont, "Segoe UI", sans-serif; color: #253235; background: #f3f7f6; line-height: 1.8; }
      * { box-sizing: border-box; }
      body { margin: 0; }
      main { width: min(100% - 32px, 1080px); margin: 32px auto 56px; }
      h1 { font-size: clamp(1.45rem, 4vw, 2.2rem); line-height: 1.5; margin: 8px 0 16px; }
      h2 { font-size: 1.15rem; margin: 0 0 12px; }
      p { margin: 8px 0; }
      a { color: #006453; text-underline-offset: 3px; }
      .eyebrow { color: #006453; font-size: .85rem; font-weight: 700; letter-spacing: .07em; }
      .intro { max-width: 780px; }
      .panel { margin-top: 24px; padding: 24px; border: 1px solid #d2e1dc; border-radius: 16px; background: white; }
      fieldset { border: 0; padding: 0; margin: 0 0 18px; }
      legend { padding: 0; margin-bottom: 8px; font-weight: 700; }
      .choices { display: flex; flex-wrap: wrap; gap: 12px; }
      .choice { display: flex; align-items: center; gap: 8px; border: 1px solid #bdcec7; border-radius: 8px; padding: 10px 16px; cursor: pointer; }
      .choice:has(input:checked) { background: #e8f7ee; border-color: #00715b; }
      input[type="radio"] { width: 18px; height: 18px; accent-color: #00715b; }
      input[type="file"] { display: block; max-width: 100%; margin-top: 8px; font: inherit; font-size: .9rem; }
      label[for="image-file"] { font-weight: 700; }
      button { font: inherit; padding: 12px 22px; border-radius: 9px; border: 0; background: #006b55; color: white; font-weight: 700; cursor: pointer; min-height: 48px; }
      button:disabled { opacity: .5; cursor: wait; }
      :focus-visible { outline: 3px solid #e3aa28; outline-offset: 3px; }
      .actions { margin-top: 20px; }
      .note { font-size: .88rem; color: #566561; }
      #status { min-height: 1.8em; margin-top: 16px; font-weight: 600; overflow-wrap: anywhere; }
      #status[data-error="true"] { color: #a42b24; }
      .images { display: grid; grid-template-columns: repeat(2, minmax(0, 1fr)); gap: 20px; }
      figure { margin: 0; min-width: 0; }
      figcaption { font-weight: 700; margin-bottom: 8px; }
      .canvas-wrap { display: grid; place-items: center; min-height: 180px; overflow: hidden; border: 1px solid #d2e1dc; border-radius: 10px; background: #f0f3f1; }
      canvas { display: block; width: 100%; height: auto; }
      dl { display: flex; flex-wrap: wrap; gap: 12px 36px; margin: 20px 0 0; }
      dl > div { min-width: 130px; }
      dt { font-size: .85rem; color: #566561; }
      dd { margin: 0; font-weight: 700; }
      pre { margin: 0; padding: 18px; background: #f0f4f2; border: 1px solid #d2e1dc; border-radius: 8px; max-height: 420px; overflow: auto; font-size: .85rem; line-height: 1.7; }
      details summary { cursor: pointer; font-weight: 700; padding: 4px 0; }
      details pre { margin-top: 12px; }
      footer { font-size: .85rem; color: #566561; margin-top: 24px; }
      @media (max-width: 640px) { main { margin-top: 20px; } .panel { padding: 18px; } .images { grid-template-columns: 1fr; } button { width: 100%; } dl { gap: 12px 24px; } }
    
#summary{white-space:pre-line;overflow-wrap:anywhere}select{font:inherit;max-width:100%;padding:8px;margin:10px}input[type="range"]{display:block;width:100%;max-width:400px}#input-canvas{touch-action:manipulation}</style></head><body><main><header><p class="eyebrow">MEDIAPIPE · JAVASCRIPT · IMAGE</p><h1>ObjectDetectorで人物と猫の位置を検出する</h1><p>人物や猫など、画像の中にある物体の種類と位置を推定します。緑の枠とカテゴリ名を見て、画像全体の分類との違いを確認しましょう。</p><p class="note">人物はプロジェクト内のAI生成画像、猫は運営者の愛猫です。画像はブラウザ内で処理し、推論用サーバーへ送信しません。初回は外部CDNとGoogleからSDK・モデルを取得します。</p></header><section class="panel"><h2>1. 画像を選んで実行する</h2><fieldset><legend>サンプル画像</legend><div class="choices"><label class="choice"><input type="radio" name="sample" value="person" >AI作成の人物</label><label class="choice"><input type="radio" name="sample" value="cat" checked>愛猫の写真</label></div></fieldset><label for="image-file">自分の画像でも試す(任意)</label><input id="image-file" type="file" accept="image/jpeg,image/png,image/webp"><p class="note">JPEG・PNG・WebP、20 MBまで。長辺960 pxへ縮小します。</p><div class="actions"><button id="run-button" disabled>AIを読み込んで実行する</button></div><p id="status" role="status" aria-live="polite" aria-atomic="true">画像を読み込んでいます。</p><noscript>JavaScriptを有効にしてください。</noscript></section><section class="panel"><h2>2. 実行結果を確認する</h2><div class="images"><figure><figcaption>入力画像</figcaption><div class="canvas-wrap"><canvas id="input-canvas" width="480" height="320" role="img" aria-label="入力画像"></canvas></div></figure><figure><figcaption>物体の枠・ラベル</figcaption><div class="canvas-wrap"><canvas id="result-canvas" width="480" height="320" role="img" aria-label="未実行"></canvas></div></figure></div><dl><div><dt>候補数</dt><dd id="count">未実行</dd></div><div><dt>入力 → 推論サイズ</dt><dd id="dimensions">準備中</dd></div><div><dt>推論・結果処理の時間</dt><dd id="elapsed">未実行</dd></div><div><dt>実行先</dt><dd id="delegate">未初期化</dd></div></dl><p class="note">時間はモデル初期化を除き、推論と結果の加工・描画を含みます。端末によって変わり、性能保証ではありません。</p><p id="summary">まだ実行していません。</p></section><section class="panel"><h2>3. 出力JSONを読む</h2><details open><summary>結果のデータ(小数は表示用に丸めています)</summary><pre id="json-output">まだ実行していません。</pre></details></section><footer><p>SDK:@mediapipe/tasks-vision 0.10.34 / モデル:EfficientDet-Lite0 float16</p><p><a href="./README.txt">起動方法・画像出典</a></p></footer></main><script type="module" src="./app.js"></script></body></html>
app.jsの全文を開く
// SDK・WASMは同じ固定版にそろえます。モデル版は別に管理します。
const CONFIG = {
  "slug": "mediapipe-object-detection",
  "title": "ObjectDetectorで人物と猫の位置を検出する",
  "task": "ObjectDetector",
  "version": "0.10.34",
  "model": "https://storage.googleapis.com/mediapipe-models/object_detector/efficientdet_lite0/float16/1/efficientdet_lite0.tflite",
  "modelName": "EfficientDet-Lite0 float16",
  "type": "object",
  "method": "detect",
  "options": {
    "runningMode": "IMAGE",
    "scoreThreshold": 0.35,
    "maxResults": 15
  },
  "default": "cat",
  "result": "物体の枠・ラベル",
  "intro": "人物や猫など、画像の中にある物体の種類と位置を推定します。緑の枠とカテゴリ名を見て、画像全体の分類との違いを確認しましょう。"
};
const $ = selector => document.querySelector(selector);
const input = $('#input-canvas');
const output = $('#result-canvas');
const ctx = output.getContext('2d');
const inputCtx = input.getContext('2d');
const runButton = $('#run-button');
let task = null,
  sdk = null,
  delegate = '',
  imageReady = false,
  busy = false,
  selection = 0;
const status = (message, error = false) => {
  $('#status').textContent = message;
  $('#status').dataset.error = String(error);
};
function controls() {
  runButton.disabled = busy || !imageReady;
  for (const element of document.querySelectorAll('input, select')) element.disabled = busy;
  runButton.textContent = busy ? '処理しています…' : 'AIを読み込んで実行する';
}
async function loadImage(source, name) {
  const request = ++selection;
  imageReady = false;
  controls();
  $('#count').textContent = '未実行';
  $('#elapsed').textContent = '未実行';
  $('#summary').textContent = 'まだ実行していません。';
  $('#json-output').textContent = 'まだ実行していません。';
  const url = source instanceof File ? URL.createObjectURL(source) : null;
  try {
    const image = new Image();
    image.src = url ?? source;
    await image.decode();
    if (request !== selection) return;
    const scale = Math.min(1, 960 / Math.max(image.naturalWidth, image.naturalHeight));
    input.width = output.width = Math.max(1, Math.round(image.naturalWidth * scale));
    input.height = output.height = Math.max(1, Math.round(image.naturalHeight * scale));
    inputCtx.drawImage(image, 0, 0, input.width, input.height);
    ctx.drawImage(input, 0, 0);
    $('#dimensions').textContent = image.naturalWidth + ' × ' + image.naturalHeight + ' → ' + input.width + ' × ' + input.height + ' px';
    input.setAttribute('aria-label', name + 'の入力画像');
    imageReady = true;
    status(name + 'を選びました。実行ボタンを押してください。');
  } catch (error) {
    console.error(error);
    status('画像を読み込めませんでした。JPEG・PNG・WebPを選び直してください。', true);
  } finally {
    if (url) URL.revokeObjectURL(url);
    if (request === selection) controls();
  }
}
async function initialize() {
  if (task) return task;
  status('初回の準備中:SDK・WASM・モデルをインターネットから取得しています。');
  const base = 'https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@' + CONFIG.version;
  sdk = await import(base + '/vision_bundle.mjs');
  const vision = await sdk.FilesetResolver.forVisionTasks(base + '/wasm');
  const create = hardware => sdk[CONFIG.task].createFromOptions(vision, {
    ...CONFIG.options,
    baseOptions: {
      modelAssetPath: CONFIG.model,
      delegate: hardware
    }
  });
  try {
    task = await create('GPU');
    delegate = 'GPU';
  } catch (error) {
    console.warn('GPUの初期化失敗。CPUで再試行します。', error);
    status('GPUを初期化できませんでした。CPUで再試行しています。');
    task = await create('CPU');
    delegate = 'CPU';
  }
  $('#delegate').textContent = delegate;
  return task;
}
async function processImage() {
  const engine = await initialize();
  ctx.drawImage(input, 0, 0);
  let result, count, summary;
  const started = performance.now();
  result = engine[CONFIG.method](input);
  count = result.detections.length;
  ctx.lineWidth = Math.max(3, output.width / 220);
  ctx.font = 'bold ' + Math.max(15, output.width / 40) + 'px system-ui';
  for (const detection of result.detections) {
    const box = detection.boundingBox;
    const category = detection.categories[0];
    if (!box) continue;
    ctx.strokeStyle = '#00ffb2';
    ctx.strokeRect(box.originX, box.originY, box.width, box.height);
    const label = (category.displayName || category.categoryName) + ' ' + category.score.toFixed(3);
    const y = Math.max(25, box.originY);
    ctx.fillStyle = '#063b35';
    ctx.fillRect(box.originX, y - 24, ctx.measureText(label).width + 12, 29);
    ctx.fillStyle = '#fff';
    ctx.fillText(label, box.originX + 6, y);
  }
  summary = count + '件の物体候補。検出されない物体や重なる枠もあり、実際の物体数を保証しません。';
  $('#elapsed').textContent = (performance.now() - started).toFixed(1) + ' ms';
  $('#count').textContent = String(count);
  $('#summary').textContent = summary;
  $('#json-output').textContent = JSON.stringify(result, (_key, value) => ArrayBuffer.isView(value) ? Array.from(value) : typeof value === 'number' ? Number(value.toFixed(5)) : value, 2);
  output.setAttribute('aria-label', CONFIG.result + '。' + summary);
  status('実行が完了しました。画像・数値・JSONを確認してください。');
}
runButton.addEventListener('click', async () => {
  if (busy || !imageReady) return;
  busy = true;
  controls();
  try {
    await new Promise(resolve => requestAnimationFrame(() => requestAnimationFrame(resolve)));
    await processImage();
  } catch (error) {
    console.error(error);
    status('実行に失敗しました:' + error.message + '。通信とConsoleを確認し、SDK・WASM・モデルの取得状況を調べてください。', true);
  } finally {
    busy = false;
    controls();
  }
});
for (const radio of document.querySelectorAll('input[name="sample"]')) radio.addEventListener('change', () => {
  $('#image-file').value = '';
  void loadImage('./' + radio.value + '.jpg', radio.value === 'cat' ? '愛猫の写真' : 'AI作成の人物');
});
$('#image-file').addEventListener('change', () => {
  const file = $('#image-file').files[0];
  if (!file) return;
  if (file.size > 20 * 1024 * 1024 || !['image/jpeg', 'image/png', 'image/webp'].includes(file.type)) {
    status('JPEG・PNG・WebP、20 MB以下を選んでください。', true);
    return;
  }
  for (const radio of document.querySelectorAll('input[name="sample"]')) radio.checked = false;
  void loadImage(file, file.name);
});
addEventListener('pagehide', () => {
  task?.close();
  task = null;
});
void loadImage('./' + CONFIG.default + '.jpg', CONFIG.default === 'cat' ? '愛猫の写真' : 'AI作成の人物');

最初は全文を暗記せず、CONFIGでモデルと設定を確認し、initialize()でタスクを作り、processImage()で結果を読む順番で追います。UIの状態管理は、AIの推論と別の役割です。実行中に画像が変わらないようにする処理も、公開するアプリには必要になります。

6. 1つずつ条件を変えて理解する

  1. 愛猫の写真を実行し、枠とラベルを見ます。2匹が別々か、1つの枠か、検出されなかったかを記録します。
  2. AI人物へ切り替えて再実行し、人以外の物体にも枠が付くか確認します。写真にあるすべての物体が返るとは限りません。
  3. scoreThreshold: 0.35を0.6へ変更して保存・再読み込みし、候補数を比べます。再読み込みで新しい設定のタスクを作ることがポイントです。
  4. 0.2へ下げた結果も比較します。「増えた候補が正しいか」を画像で確認し、用途に合う条件を探します。

条件を変える実験では、一度に1つだけ設定を変えます。モデルと閾値と画像サイズを同時に変えると、何が結果を変えたか分からなくなります。変更前後のJSONを保存し、同じ猫写真で比べると、自分のアプリに必要な判断基準を作れます。

7. このサイトのツールへどうつながるか

猫の手ツールの顔モザイクは人の顔をFaceDetectorで探します。このサンプルはその既存機能を物体検出へ変更したものではなく、学習用の新しいデモです。ObjectDetectorを応用するなら、猫・人・物の枠から候補を選び、切り出す位置を提案する機能が考えられます。

既存の顔切り出しで学べる「座標を画像加工へ渡す」考え方は共通ですが、枠の意味と対象モデルは違います。人物の顔アップが欲しいならFaceDetector、猫のいる大まかな範囲が欲しいならObjectDetector、と目的から選びます。人物の特定や愛猫の名前の判定を、このラベルから行うことはできません。

出力を使う前に確認する限界

猫の種類・個体名を確定する用途には使えません。枠がないときは、カテゴリ外なのか、写り方が苦手なのか、閾値で落ちたのかを順に確かめます。枠があるのにずれるときは、推論サイズと描画サイズの違いを先に確認します。

8. 動かない・結果が違うときの調べ方

このタスクの出力と、確認する場所
状態先に確認すること
候補が0件scoreThresholdとモデルの対応カテゴリを確認します。画像の大きさや物体の写り方も変えて比べます。
枠の位置がずれるboundingBoxは推論したCanvasのピクセル座標です。元画像へ戻す倍率と、描画先の寸法を確認します。
猫の数と枠の数が違う候補数は実際の匹数ではありません。重なる枠や見逃しを入力画像と照合します。
表示名が空・英語になるモデルのcategoryNameとdisplayNameをJSONで確認します。画面の日本語化はモデルの分類を変更しません。
画面・入力画像を開けないHTTPサーバーのフォルダーとURLを確認し、Networkで同梱画像が404になっていないか見ます。
SDK・モデルを読み込めないSDK・WASM・モデルの固定URLをNetworkで確認します。GPU初期化失敗時はCPUで再試行し、両方失敗した場合はConsoleを読みます。

ChromeやEdgeではF12で開発者ツールを開けます。Consoleに出た最初のエラーと、Networkの失敗したURLを確認します。モデルの読み込み失敗なのにスコアの閾値を変更しても直りません。画像読み込み、モデル初期化、推論、描画の順に分けて調べます。

サンプルでは実行中のボタンと画像変更を無効にし、同時に処理が走らないようにしています。画像ファイルのObject URLは読み込み後に解放し、ページから離れるときはタスクのclose()を呼びます。スマホの画面幅では結果を縦に並べます。PCの表示幅を狭める確認は実機検証の代わりにはならないので、端末・OS・ブラウザを変える際は別途試します。

9. サイトの採用版と最新のMediaPipe事情

現在の猫の手ツールのTasks Visionは0.10.34です。SDKは推論のAPIと実行環境、モデルは学習済みのデータなので、バージョンを別々に管理します。この記事のモデルは固定版1で、コードに/latest/は使っていません。公式の例にlatestがあっても、教材を再現する場合は確認したURLを固定します。

このサンプルは、サイトの採用版に合わせて0.10.34を固定しています。2026年10月12日に確認した最新安定版は1.1.0です。最新版を試す場合も、SDKとWASMを同じ版にし、サンプルを再実行して結果と互換性を確認します。

SDKのファイルとWASMだけを別の版にすると、APIが読み込めても実行時に問題が出る場合があります。また、旧MediaPipe SolutionsとTasksでは使うパッケージ・クラス・設定が異なります。検索で見つけたコードをコピーする前に、記事がどの版のどのタスクを扱うか確認します。

参考資料

確認日:2026年10月12日。本文は公式API・プロジェクトの実装と、本教材のデモに基づいて説明しています。モデルの推定結果を人の判断の代わりに確定した情報として扱わず、画像とJSONを見比べて検証します。

入力データの推論は端末内で行います。SDK・WASM・モデルの取得には通信が発生します。MediaPipe公式ではAPIの性能・利用状況メトリクスの送信も案内されています。SDKの版・実行条件と、プライバシー方針を確認してください。