HolisticLandmarkerで顔・手・身体をまとめて扱う
顔・身体・左右の手を別々の色で重ね、HolisticLandmarkerの結果を読んでみましょう。このサンプルはWeb SDK 1.1.0の統合タスクを使います。既存サイトのSDKを入れ替えず、独立した教材として新しいAPIを確認します。
この記事でできるようになること
統合結果の各配列を区別し、顔・手・身体を同じ画像座標へ描ける。必要な出力だけを選ぶ理由を説明できる。
HTMLとJavaScriptの変数・関数・イベントの基本が分かる方を対象に、MediaPipeの学習済みモデルを使うところから進めます。自分でモデルを学習させる準備は不要です。
1. 何をしたいときに使うか・モデルを選ぶ
Holisticは「全体的な」という意味です。MediaPipeのHolisticLandmarkerは、顔、身体、左右の手の推定をまとめて扱います。単にObjectDetectorへ人を指定する場合と違い、関節や顔の細かい点が必要な場面に向いています。各部位の推定がすべて成功すれば、顔478点、身体33点、両手各21点を合わせた553点が対象になります。
しかし、553点という仕様は「どの写真でも553点が返る」という意味ではありません。人物が小さい、手が隠れる、顔が横を向くなどの条件で、一部の部位が空になる場合があります。デモでは結果の各配列を別々に数え、合計だけを見て成功・失敗を決めないようにします。
顔の加工だけをしたいならFaceLandmarkerの方が目的を説明しやすくなります。手の線画だけならHandLandmarkerで十分です。統合タスクを選ぶのは、顔と手と身体の情報を同じ入力からまとめて使いたい場合です。必要のない出力が多いと、初期化や推論・描画を調べる際に原因を切り分けにくくなります。
公式のモデルバンドルは、顔・身体・手のモデルを組み合わせたものです。このサンプルのモデルは固定版1のfloat16バンドルです。大きさは約13.7 MBで、通信・ブラウザの状態によって初回の待ち時間が変わります。取得に成功した後の推論時間と、初回のダウンロード時間を同じ性能指標に混ぜないようにします。仕様は公式のHolisticガイドを参照できます。
2. まず完成したサンプルを動かす
次のデモを開き、サンプル画像を選んで「AIを読み込んで実行する」を押します。画像を選ぶだけではAIを実行しません。最初のボタン操作でSDK・WASM・モデルを取得し、次からは初期化済みのタスクを再利用します。
今回の実行で観察したこと
AI生成の集合画像では、身体33点、右手21点が返り、顔と左手の配列は空でした。条件はPCのChrome、SDK 1.1.0、Holistic Landmarker float16版1、IMAGEモード、表情とマスクの出力は無効です。全553点がそろった例ではありません。人物に顔や左手がないという意味でもなく、この入力ではその部位の結果が得られなかったという観察です。統合タスクでも部位ごとに結果が欠けるため、空配列を扱うコードと、検出できた部位だけを表示する設計が必要です。
デモに同梱する人物はAI生成画像、猫は運営者の愛猫の写真です。任意のJPEG・PNG・WebPも読み込めますが、入力画像を推論用サーバーへ送信する処理はありません。SDKとモデルの取得は外部への通信を行います。時刻欄は初期化を除く推論・結果加工・描画の計測で、速度を保証する数字ではありません。
3. ZIPを展開して自分のPCで動かす
VS Codeでフォルダーを開く方法や、app.jsの編集・保存が初めてなら、導入記事のエディター準備と「保存 → ブラウザ更新 → 実行」の手順を先に確認してください。下では、このサンプルの起動に必要な操作を示します。
この教材はHTMLとJavaScriptだけで動く独立サンプルです。サイト全体のAstroプロジェクトをインストールする必要はありません。SDKをCDNから取得するため、起動時のインターネット接続は必要です。画像は推論用サーバーへ送信せず、ブラウザ内で処理します。
- 上のZIPをダウンロードします。WindowsではZIPを右クリックして「すべて展開」を選びます。
- 展開したフォルダーを開き、
index.htmlとapp.js、person.jpg、cat.jpg、README.txtが並んでいることを確認します。さらに同じ名前のフォルダーがある場合は、その中へ進みます。 - エクスプローラーのアドレス欄へ
powershellと入力してEnterを押します。このフォルダーを作業場所にした端末が開きます。 - 次のコマンドでNode.jsとnpmがあるか確認します。
node --version
npm.cmd --versionバージョンの数字が出れば準備できます。「認識されません」と出る場合はNode.js公式のダウンロードページからLTS版を導入し、端末を開き直します。Node.jsはこの例ではAIを実行するためではなく、HTTPサーバーを起動するために使います。
npx.cmd --yes http-server . -p 8080初回はHTTPサーバーのツールを取得することがあります。端末にアドレスが表示され、そのまま入力を待つ状態になればサーバーが動いています。ブラウザでhttp://localhost:8080を開きます。画像の選択画面が出たら成功です。端末は実行中のまま残します。
Mac・Linuxはnpm --version、npx --yes http-server . -p 8080に読み替えます。Windowsの.cmdは、PowerShellのスクリプト実行制限に当たりにくい呼び出し方です。HTMLをダブルクリックしてfile://で開くとモジュールの読み込みが制限されることがあるため、HTTPで開きます。
8080が使用中ならコマンドのポートを8081へ変え、開くURLもhttp://localhost:8081に変えます。終了するときは端末でCtrl+Cを押します。コードを修正したら保存し、ブラウザを再読み込みしてから実行します。古い結果が残る場合は、開発者ツールのNetworkでキャッシュを無効にして再読み込みします。
4. AIの出力を自分のJavaScriptへつなぐ
入力は1枚のCanvasで、detect()の結果を受け取ります。画像上へ描く主な配列はfaceLandmarks、poseLandmarks、leftHandLandmarks、rightHandLandmarksです。それぞれの配列が空の場合を考え、存在する結果だけを描きます。
本サンプルは、顔を黄色、身体を青緑、左手をピンク、右手を青にしています。色はアプリ側の表示ルールで、モデルが返す属性ではありません。すべて同じ画像座標を使うので、正規化したx・yへ入力Canvasの幅・高さを掛けます。接続情報にはHolisticLandmarkerの各部位向け定数を使います。
JSONにはposeWorldLandmarksや手のworldLandmarksなど、別の座標系もあります。最初の実装では画面座標だけに絞って読みます。3D座標を扱うときは、それぞれの基準が同じか、何を原点とするかを確認してから組み合わせます。単に座標配列をつなげて1つの3Dモデルが完成するわけではありません。
顔の表情の指標はoutputFaceBlendshapes、身体のマスクはoutputPoseSegmentationMasksで追加できます。この教材では両方falseです。座標を理解するために使わない出力を無効にしています。マスクを有効にする実装へ進む場合は、結果の寿命とclose()を含むメモリ管理も必要になります。
集合写真の結果を、全員を安定して追う仕組みとして扱わないようにします。このデモは、画像から戻った部位別の結果を表示する教材です。別々に返る配列の番号を根拠に、すべての顔と手を集合写真の各人物へ任意に割り当てることはできません。アプリの目的が複数人の追跡なら、その要件を分けて設計します。
次は処理の中心だけを抜き出した例です。inputCanvasやタスクの変数は、すでに初期化済みとします。この数行だけをHTMLへ貼ると動くという意味ではありません。実際に動かすコードは次の完全版を使い、中心となるAPIをこの短い例で確認します。
const result = holistic.detect(inputCanvas);
const groups = [
result.faceLandmarks,
result.poseLandmarks,
result.leftHandLandmarks,
result.rightHandLandmarks,
];
for (const group of groups) {
for (const points of group) {
// pointsのx・yを同じCanvasの座標へ変換して描く
}
}5. 完全なコードを確認する
index.htmlは操作画面とCanvasを用意し、app.jsは画像選択・モデル初期化・推論・描画を担当します。画像を読み込むawait image.decode()の後にCanvasへ描き、読み込み前の画像を推論へ渡さないようにしています。GPUの初期化が失敗した場合はCPUで再試行し、両方失敗した場合は理由を画面とConsoleへ表示します。
index.htmlの全文を開く
<!doctype html><html lang="ja"><head><meta charset="utf-8"><meta name="viewport" content="width=device-width, initial-scale=1"><meta name="robots" content="noindex,follow"><title>HolisticLandmarkerで顔・手・身体をまとめて扱う | MediaPipe実行サンプル</title><style>
:root { color-scheme: light; font-family: system-ui, -apple-system, BlinkMacSystemFont, "Segoe UI", sans-serif; color: #253235; background: #f3f7f6; line-height: 1.8; }
* { box-sizing: border-box; }
body { margin: 0; }
main { width: min(100% - 32px, 1080px); margin: 32px auto 56px; }
h1 { font-size: clamp(1.45rem, 4vw, 2.2rem); line-height: 1.5; margin: 8px 0 16px; }
h2 { font-size: 1.15rem; margin: 0 0 12px; }
p { margin: 8px 0; }
a { color: #006453; text-underline-offset: 3px; }
.eyebrow { color: #006453; font-size: .85rem; font-weight: 700; letter-spacing: .07em; }
.intro { max-width: 780px; }
.panel { margin-top: 24px; padding: 24px; border: 1px solid #d2e1dc; border-radius: 16px; background: white; }
fieldset { border: 0; padding: 0; margin: 0 0 18px; }
legend { padding: 0; margin-bottom: 8px; font-weight: 700; }
.choices { display: flex; flex-wrap: wrap; gap: 12px; }
.choice { display: flex; align-items: center; gap: 8px; border: 1px solid #bdcec7; border-radius: 8px; padding: 10px 16px; cursor: pointer; }
.choice:has(input:checked) { background: #e8f7ee; border-color: #00715b; }
input[type="radio"] { width: 18px; height: 18px; accent-color: #00715b; }
input[type="file"] { display: block; max-width: 100%; margin-top: 8px; font: inherit; font-size: .9rem; }
label[for="image-file"] { font-weight: 700; }
button { font: inherit; padding: 12px 22px; border-radius: 9px; border: 0; background: #006b55; color: white; font-weight: 700; cursor: pointer; min-height: 48px; }
button:disabled { opacity: .5; cursor: wait; }
:focus-visible { outline: 3px solid #e3aa28; outline-offset: 3px; }
.actions { margin-top: 20px; }
.note { font-size: .88rem; color: #566561; }
#status { min-height: 1.8em; margin-top: 16px; font-weight: 600; overflow-wrap: anywhere; }
#status[data-error="true"] { color: #a42b24; }
.images { display: grid; grid-template-columns: repeat(2, minmax(0, 1fr)); gap: 20px; }
figure { margin: 0; min-width: 0; }
figcaption { font-weight: 700; margin-bottom: 8px; }
.canvas-wrap { display: grid; place-items: center; min-height: 180px; overflow: hidden; border: 1px solid #d2e1dc; border-radius: 10px; background: #f0f3f1; }
canvas { display: block; width: 100%; height: auto; }
dl { display: flex; flex-wrap: wrap; gap: 12px 36px; margin: 20px 0 0; }
dl > div { min-width: 130px; }
dt { font-size: .85rem; color: #566561; }
dd { margin: 0; font-weight: 700; }
pre { margin: 0; padding: 18px; background: #f0f4f2; border: 1px solid #d2e1dc; border-radius: 8px; max-height: 420px; overflow: auto; font-size: .85rem; line-height: 1.7; }
details summary { cursor: pointer; font-weight: 700; padding: 4px 0; }
details pre { margin-top: 12px; }
footer { font-size: .85rem; color: #566561; margin-top: 24px; }
@media (max-width: 640px) { main { margin-top: 20px; } .panel { padding: 18px; } .images { grid-template-columns: 1fr; } button { width: 100%; } dl { gap: 12px 24px; } }
#summary{white-space:pre-line;overflow-wrap:anywhere}select{font:inherit;max-width:100%;padding:8px;margin:10px}input[type="range"]{display:block;width:100%;max-width:400px}#input-canvas{touch-action:manipulation}</style></head><body><main><header><p class="eyebrow">MEDIAPIPE · JAVASCRIPT · IMAGE</p><h1>HolisticLandmarkerで顔・手・身体をまとめて扱う</h1><p>顔・身体・左右の手を、1つの結果から色分けして描きます。この独立サンプルは新しいWeb SDK 1.1.0を使います。集合写真の全員の部位がそろうことは保証されません。</p><p class="note">人物はプロジェクト内のAI生成画像、猫は運営者の愛猫です。画像はブラウザ内で処理し、推論用サーバーへ送信しません。初回は外部CDNとGoogleからSDK・モデルを取得します。</p></header><section class="panel"><h2>1. 画像を選んで実行する</h2><fieldset><legend>サンプル画像</legend><div class="choices"><label class="choice"><input type="radio" name="sample" value="person" checked>AI作成の人物</label><label class="choice"><input type="radio" name="sample" value="cat" >愛猫の写真</label></div></fieldset><label for="image-file">自分の画像でも試す（任意）</label><input id="image-file" type="file" accept="image/jpeg,image/png,image/webp"><p class="note">JPEG・PNG・WebP、20 MBまで。長辺960 pxへ縮小します。</p><div class="actions"><button id="run-button" disabled>AIを読み込んで実行する</button></div><p id="status" role="status" aria-live="polite" aria-atomic="true">画像を読み込んでいます。</p><noscript>JavaScriptを有効にしてください。</noscript></section><section class="panel"><h2>2. 実行結果を確認する</h2><div class="images"><figure><figcaption>入力画像</figcaption><div class="canvas-wrap"><canvas id="input-canvas" width="480" height="320" role="img" aria-label="入力画像"></canvas></div></figure><figure><figcaption>顔・身体・左右の手を色分け</figcaption><div class="canvas-wrap"><canvas id="result-canvas" width="480" height="320" role="img" aria-label="未実行"></canvas></div></figure></div><dl><div><dt>検出した点の合計</dt><dd id="count">未実行</dd></div><div><dt>入力 → 推論サイズ</dt><dd id="dimensions">準備中</dd></div><div><dt>推論・結果処理の時間</dt><dd id="elapsed">未実行</dd></div><div><dt>実行先</dt><dd id="delegate">未初期化</dd></div></dl><p class="note">時間はモデル初期化を除き、推論と結果の加工・描画を含みます。端末によって変わり、性能保証ではありません。</p><p id="summary">まだ実行していません。</p></section><section class="panel"><h2>3. 出力JSONを読む</h2><details open><summary>結果のデータ（小数は表示用に丸めています）</summary><pre id="json-output">まだ実行していません。</pre></details></section><footer><p>SDK：@mediapipe/tasks-vision 1.1.0 ／ モデル：Holistic Landmarker float16</p><p><a href="./README.txt">起動方法・画像出典</a></p></footer></main><script type="module" src="./app.js"></script></body></html>app.jsの全文を開く
// SDK・WASMは同じ固定版にそろえます。モデル版は別に管理します。
const CONFIG = {
"slug": "mediapipe-holistic-landmarks",
"title": "HolisticLandmarkerで顔・手・身体をまとめて扱う",
"task": "HolisticLandmarker",
"version": "1.1.0",
"model": "https://storage.googleapis.com/mediapipe-models/holistic_landmarker/holistic_landmarker/float16/1/holistic_landmarker.task",
"modelName": "Holistic Landmarker float16",
"type": "holistic",
"method": "detect",
"options": {
"runningMode": "IMAGE",
"outputFaceBlendshapes": false,
"outputPoseSegmentationMasks": false
},
"default": "person",
"result": "顔・身体・左右の手を色分け",
"intro": "顔・身体・左右の手を、1つの結果から色分けして描きます。この独立サンプルは新しいWeb SDK 1.1.0を使います。集合写真の全員の部位がそろうことは保証されません。"
};
const $ = selector => document.querySelector(selector);
const input = $('#input-canvas');
const output = $('#result-canvas');
const ctx = output.getContext('2d');
const inputCtx = input.getContext('2d');
const runButton = $('#run-button');
let task = null,
sdk = null,
delegate = '',
imageReady = false,
busy = false,
selection = 0;
const status = (message, error = false) => {
$('#status').textContent = message;
$('#status').dataset.error = String(error);
};
function controls() {
runButton.disabled = busy || !imageReady;
for (const element of document.querySelectorAll('input, select')) element.disabled = busy;
runButton.textContent = busy ? '処理しています…' : 'AIを読み込んで実行する';
}
async function loadImage(source, name) {
const request = ++selection;
imageReady = false;
controls();
$('#count').textContent = '未実行';
$('#elapsed').textContent = '未実行';
$('#summary').textContent = 'まだ実行していません。';
$('#json-output').textContent = 'まだ実行していません。';
const url = source instanceof File ? URL.createObjectURL(source) : null;
try {
const image = new Image();
image.src = url ?? source;
await image.decode();
if (request !== selection) return;
const scale = Math.min(1, 960 / Math.max(image.naturalWidth, image.naturalHeight));
input.width = output.width = Math.max(1, Math.round(image.naturalWidth * scale));
input.height = output.height = Math.max(1, Math.round(image.naturalHeight * scale));
inputCtx.drawImage(image, 0, 0, input.width, input.height);
ctx.drawImage(input, 0, 0);
$('#dimensions').textContent = image.naturalWidth + ' × ' + image.naturalHeight + ' → ' + input.width + ' × ' + input.height + ' px';
input.setAttribute('aria-label', name + 'の入力画像');
imageReady = true;
status(name + 'を選びました。実行ボタンを押してください。');
} catch (error) {
console.error(error);
status('画像を読み込めませんでした。JPEG・PNG・WebPを選び直してください。', true);
} finally {
if (url) URL.revokeObjectURL(url);
if (request === selection) controls();
}
}
async function initialize() {
if (task) return task;
status('初回の準備中：SDK・WASM・モデルをインターネットから取得しています。');
const base = 'https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@' + CONFIG.version;
sdk = await import(base + '/vision_bundle.mjs');
const vision = await sdk.FilesetResolver.forVisionTasks(base + '/wasm');
const create = hardware => sdk[CONFIG.task].createFromOptions(vision, {
...CONFIG.options,
baseOptions: {
modelAssetPath: CONFIG.model,
delegate: hardware
}
});
try {
task = await create('GPU');
delegate = 'GPU';
} catch (error) {
console.warn('GPUの初期化失敗。CPUで再試行します。', error);
status('GPUを初期化できませんでした。CPUで再試行しています。');
task = await create('CPU');
delegate = 'CPU';
}
$('#delegate').textContent = delegate;
return task;
}
function drawLandmarks(points, connections, color, filterVisibility = false) {
ctx.strokeStyle = color;
ctx.fillStyle = color;
ctx.lineWidth = Math.max(2, output.width / 300);
for (const connection of connections ?? []) {
const a = points[connection.start],
b = points[connection.end];
if (!a || !b || filterVisibility && ((a.visibility ?? 1) < .5 || (b.visibility ?? 1) < .5)) continue;
ctx.beginPath();
ctx.moveTo(a.x * output.width, a.y * output.height);
ctx.lineTo(b.x * output.width, b.y * output.height);
ctx.stroke();
}
for (const p of points) {
if (filterVisibility && (p.visibility ?? 1) < .5) continue;
ctx.beginPath();
ctx.arc(p.x * output.width, p.y * output.height, Math.max(2, output.width / 300), 0, Math.PI * 2);
ctx.fill();
}
}
async function processImage() {
const engine = await initialize();
ctx.drawImage(input, 0, 0);
let result, count, summary;
const started = performance.now();
result = engine[CONFIG.method](input);
const groups = [['faceLandmarks', sdk.HolisticLandmarker.FACE_LANDMARKS_CONTOURS, '#ffe36a'], ['poseLandmarks', sdk.HolisticLandmarker.POSE_CONNECTIONS, '#00ffd1'], ['leftHandLandmarks', sdk.HolisticLandmarker.HAND_CONNECTIONS, '#ff94d3'], ['rightHandLandmarks', sdk.HolisticLandmarker.HAND_CONNECTIONS, '#8ebcff']];
for (const [key, connections, color] of groups) for (const points of result[key] ?? []) drawLandmarks(points, connections, color, key === 'poseLandmarks');
count = groups.reduce((sum, [key]) => sum + (result[key] ?? []).reduce((n, points) => n + points.length, 0), 0);
summary = groups.map(([key]) => key + '：' + (result[key]?.[0]?.length ?? 0) + '点').join('\n');
$('#elapsed').textContent = (performance.now() - started).toFixed(1) + ' ms';
$('#count').textContent = String(count);
$('#summary').textContent = summary;
$('#json-output').textContent = JSON.stringify(result, (_key, value) => ArrayBuffer.isView(value) ? Array.from(value) : typeof value === 'number' ? Number(value.toFixed(5)) : value, 2);
output.setAttribute('aria-label', CONFIG.result + '。' + summary);
status('実行が完了しました。画像・数値・JSONを確認してください。');
}
runButton.addEventListener('click', async () => {
if (busy || !imageReady) return;
busy = true;
controls();
try {
await new Promise(resolve => requestAnimationFrame(() => requestAnimationFrame(resolve)));
await processImage();
} catch (error) {
console.error(error);
status('実行に失敗しました：' + error.message + '。通信とConsoleを確認し、SDK・WASM・モデルの取得状況を調べてください。', true);
} finally {
busy = false;
controls();
}
});
for (const radio of document.querySelectorAll('input[name="sample"]')) radio.addEventListener('change', () => {
$('#image-file').value = '';
void loadImage('./' + radio.value + '.jpg', radio.value === 'cat' ? '愛猫の写真' : 'AI作成の人物');
});
$('#image-file').addEventListener('change', () => {
const file = $('#image-file').files[0];
if (!file) return;
if (file.size > 20 * 1024 * 1024 || !['image/jpeg', 'image/png', 'image/webp'].includes(file.type)) {
status('JPEG・PNG・WebP、20 MB以下を選んでください。', true);
return;
}
for (const radio of document.querySelectorAll('input[name="sample"]')) radio.checked = false;
void loadImage(file, file.name);
});
addEventListener('pagehide', () => {
task?.close();
task = null;
});
void loadImage('./' + CONFIG.default + '.jpg', CONFIG.default === 'cat' ? '愛猫の写真' : 'AI作成の人物');
最初は全文を暗記せず、CONFIGでモデルと設定を確認し、initialize()でタスクを作り、processImage()で結果を読む順番で追います。UIの状態管理は、AIの推論と別の役割です。実行中に画像が変わらないようにする処理も、公開するアプリには必要になります。
6. 1つずつ条件を変えて理解する
- AI人物の写真で実行し、顔・身体・左右の手の点数をそれぞれ見ます。表示された色とJSONを対応させます。
- 見えている手と、モデルから手の座標が返ったかを比べます。画面内に手があるだけで必ず検出されるとは限りません。
- 猫へ切り替えて実行します。人の部位を対象とするタスクなので、猫で人の骨格を推定する用途には使えません。
- 各部位の描画関数を1つずつコメントアウトし、顔だけ、身体だけの見え方を確認します。検出処理を変えず描画だけを変更する練習です。
戻った点数の合計と、描画した点数は異なることがあります。身体のvisibilityで描画を控えた点もJSONには残ります。画面表示のルールを自分で決めたことを記録しておくと、「データがあるのに見えない」問題を切り分けられます。
7. このサイトのツールへどうつながるか
サイトの顔パーツの加工はFaceLandmarker、手の線画はHandLandmarkerを使います。HolisticLandmarkerを既存ツールへ一括で導入したという意味ではありません。この統合タスクは、1.1.0のWeb APIを理解するための独立デモです。
既存の顔のリップ試着と手の線画から学べる「点の位置に描く」知識を、身体へ広げられます。顔だけの加工のために大きな統合タスクへ置き換えるより、必要な出力を先に書き出し、単独タスクと比較して選ぶとよいでしょう。
出力を使う前に確認する限界
すべての部位が同じ精度で返るとは限りません。SDKが同じでもモデルと入力条件で変わります。旧SolutionsのHolisticのコードと、TasksのHolisticLandmarkerのコードを混ぜず、利用するクラスと結果の型を確認します。
8. 動かない・結果が違うときの調べ方
| 状態 | 先に確認すること |
|---|---|
| 顔や片手の配列が空 | 身体・顔・左右の手を別々に確認します。すべての部位が同時に見つかるとは限りません。 |
| 返った合計が553点ではない | 部位ごとの点数を読みます。一部が未検出なら合計は減るため、合計だけで読み込み失敗と判断しません。 |
| 身体の点だけ一部描かれない | 身体にはvisibilityの表示条件があります。顔や手へ身体の可視性ルールをそのまま適用していないかも確認します。 |
| クラスが見つからない | この教材はTasks Vision 1.1.0です。既存サイトの0.10.34や旧Solutionsと、SDK・WASM・APIを混ぜないようにします。 |
| 画面・入力画像を開けない | HTTPサーバーのフォルダーとURLを確認し、Networkで同梱画像が404になっていないか見ます。 |
| SDK・モデルを読み込めない | SDK・WASM・モデルの固定URLをNetworkで確認します。GPU初期化失敗時はCPUで再試行し、両方失敗した場合はConsoleを読みます。 |
ChromeやEdgeではF12で開発者ツールを開けます。Consoleに出た最初のエラーと、Networkの失敗したURLを確認します。モデルの読み込み失敗なのにスコアの閾値を変更しても直りません。画像読み込み、モデル初期化、推論、描画の順に分けて調べます。
サンプルでは実行中のボタンと画像変更を無効にし、同時に処理が走らないようにしています。画像ファイルのObject URLは読み込み後に解放し、ページから離れるときはタスクのclose()を呼びます。スマホの画面幅では結果を縦に並べます。PCの表示幅を狭める確認は実機検証の代わりにはならないので、端末・OS・ブラウザを変える際は別途試します。
9. サイトの採用版と最新のMediaPipe事情
現在の猫の手ツールのTasks Visionは0.10.34です。SDKは推論のAPIと実行環境、モデルは学習済みのデータなので、バージョンを別々に管理します。この記事のモデルは固定版1で、コードに/latest/は使っていません。公式の例にlatestがあっても、教材を再現する場合は確認したURLを固定します。
この独立サンプルだけは1.1.0を固定して使います。2026年10月12日のWeb SDKの型定義にあるHolisticLandmarkerを使うためです。旧SolutionsのHolisticのサンプルとはクラスも結果の形式も異なります。既存サイトの依存パッケージ・WASM・モデルを更新する変更ではありません。
SDKのファイルとWASMだけを別の版にすると、APIが読み込めても実行時に問題が出る場合があります。また、旧MediaPipe SolutionsとTasksでは使うパッケージ・クラス・設定が異なります。検索で見つけたコードをコピーする前に、記事がどの版のどのタスクを扱うか確認します。
参考資料
確認日：2026年10月12日。本文は公式API・プロジェクトの実装と、本教材のデモに基づいて説明しています。モデルの推定結果を人の判断の代わりに確定した情報として扱わず、画像とJSONを見比べて検証します。