Web 監視が『異常なし』と言い続けた二週間 — 沈黙する取りこぼしを計測して切り分ける運用メモ

// anchor-check.mjs — 抽出が生きているかを内容ベースで検証する
// 目的: セレクタ不一致による「空の成功」を故障として顕在化させる
 
const ANCHORS = {
  'saas-pricing': [
    { name: 'price-tokens', test: (t) => (t.match(/[$¥€]\s?\d[\d,]*/g) || []).length >= 3 },
    { name: 'plan-headings', test: (t) => (t.match(/\b(Free|Pro|Team|Business|Enterprise)\b/g) || []).length >= 2 },
    { name: 'min-length',    test: (t) => t.replace(/\s+/g, '').length >= 400 },
  ],
};
 
export function checkAnchors(siteId, text) {
  const rules = ANCHORS[siteId] || [];
  const results = rules.map((r) => ({ name: r.name, passed: r.test(text) }));
  const failed = results.filter((r) => !r.passed).map((r) => r.name);
  return {
    // すべてのアンカーが通って初めて「抽出は生きている」と見なす
    alive: failed.length === 0,
    failed,
    coverage: rules.length ? (rules.length - failed.length) / rules.length : 0,
  };
}

// crawl-guard.mjs — アンカーが通らない巡回は差分に進ませない
import { checkAnchors } from './anchor-check.mjs';
 
export function ingest(siteId, text, { onExtractionFailure, onAlive }) {
  const anchor = checkAnchors(siteId, text);
  if (!anchor.alive) {
    // 「変更なし」ではなく「監視が見えていない」として扱う
    onExtractionFailure({ siteId, failed: anchor.failed, coverage: anchor.coverage });
    return { proceeded: false };
  }
  onAlive({ siteId, coverage: anchor.coverage });
  return { proceeded: true };
}

// quietness-watch.mjs — 変更ゼロの連続を「静かすぎる」異常として拾う
import { readFileSync, existsSync } from 'fs';
 
// サイトごとに「これ以上静かなら疑わしい」という日数を設定する
const QUIET_THRESHOLD_DAYS = {
  'saas-pricing': 30,      // 料金は動きが遅いので長め
  'competitor-blog': 5,    // ブログは頻繁に動くはずなので短め
};
 
export function evaluateQuietness(siteId, changeHistory) {
  // changeHistory: [{ date, changed }] を日付昇順で受け取る
  let streak = 0;
  for (let i = changeHistory.length - 1; i >= 0; i--) {
    if (changeHistory[i].changed) break;
    streak++;
  }
  const threshold = QUIET_THRESHOLD_DAYS[siteId] ?? 14;
  return {
    quietStreak: streak,
    suspicious: streak >= threshold,
    // 「疑わしい」は故障の断定ではなく、人間に一度見に行かせるための合図
    action: streak >= threshold ? 'manual-spotcheck' : 'none',
  };
}

// structure-fingerprint.mjs — 抽出の足場が変わっていないかを追う
// Claude in Chrome の javascript_tool で対象ページ上で実行する想定
export function fingerprintScript() {
  return `JSON.stringify((() => {
    const nodes = Array.from(document.querySelectorAll('[class*="price"], [class*="plan"], [data-price]'));
    return {
      count: nodes.length,
      classes: [...new Set(nodes.flatMap(n => Array.from(n.classList)))].sort(),
      depths: nodes.map(n => { let d = 0, e = n; while (e.parentElement) { d++; e = e.parentElement; } return d; }),
      hasDataPrice: nodes.some(n => n.hasAttribute('data-price')),
    };
  })())`;
}
 
// 前回と今回のフィンガープリントを比較し、足場のズレを数値化する
export function compareFingerprint(prev, curr) {
  if (!prev) return { drift: 0, notes: ['baseline'] };
  const notes = [];
  if (prev.count !== curr.count) notes.push(`要素数 ${prev.count} → ${curr.count}`);
 
  const prevClasses = new Set(prev.classes);
  const currClasses = new Set(curr.classes);
  const removed = [...prevClasses].filter((c) => !currClasses.has(c));
  const added = [...currClasses].filter((c) => !prevClasses.has(c));
  if (removed.length) notes.push(`消えたクラス: ${removed.join(', ')}`);
  if (added.length) notes.push(`増えたクラス: ${added.join(', ')}`);
 
  // ドリフト量: クラス集合の非対称差をユニオンで正規化（0=不変, 1=総入れ替え）
  const union = new Set([...prevClasses, ...currClasses]).size || 1;
  const drift = (removed.length + added.length) / union;
  return { drift: Number(drift.toFixed(2)), notes };
}

// health-dashboard.mjs — 監視自身の健全性を集計する
import { readdirSync, readFileSync, writeFileSync } from 'fs';
 
export function buildHealth(siteIds, loadDaily) {
  // loadDaily(siteId) → { alive, coverage, quietStreak, drift } を返す想定
  const rows = siteIds.map((id) => {
    const d = loadDaily(id);
    const status = !d.alive ? '🔴 抽出失敗'
      : d.drift > 0.3 ? '🟡 ドリフト'
      : d.suspicious ? '🟡 静寂過多'
      : '🟢 健全';
    return { id, ...d, status };
  });
 
  const healthy = rows.filter((r) => r.status.startsWith('🟢')).length;
  const ratio = (healthy / rows.length * 100).toFixed(0);
 
  let md = `# 監視ヘルス — ${new Date().toISOString().slice(0, 10)}\n\n`;
  md += `健全率: ${ratio}%（${healthy}/${rows.length}）\n\n`;
  md += `| サイト | 状態 | カバレッジ | 静寂日数 | ドリフト |\n|---|---|---|---|---|\n`;
  for (const r of rows) {
    md += `| ${r.id} | ${r.status} | ${(r.coverage * 100).toFixed(0)}% | ${r.quietStreak} | ${r.drift} |\n`;
  }
  return { markdown: md, healthyRatio: Number(ratio) };
}