スクレイピング開発を依頼する前に決めること｜対象・頻度・規約の確認と、止まったときの保守

スクレイピング（Webサイトから決まった情報を自動で集める仕組み）の開発を頼む前に決めることは5つあります。①対象サイトに公式のデータ提供（API・CSV・RSS・有料のデータ提供）がないか、②規約・robots.txt・ログインの有無と、アクセスの頻度、③取る項目・件数・置き場所・失敗したときの通知、④成果物を「データだけ」にするか「プログラムと動かす環境ごと」にするか、⑤サイト側の変更で止まったとき、誰がいつまでに直すかです。依頼先は、この5つの答えで選べます。データだけ欲しいならデータ収集の代行（後で紹介する公開価格の例：単発10万円〜・継続月5万円〜、税の扱いは記載なし）、1サイトだけで止まっても困らないなら個人への単発発注や自社でAIを使って作る方法で足ります。開発会社に頼む方がよいのは、複数サイトを毎日集め続け、自社の表や業務システムへの取り込みと、止まったときの修理まで任せたい場合です。

この記事は、競合の価格や取引先の在庫、公開されている求人・物件・入札情報を毎日手でコピーしている中小企業の担当者・経営者に向けて書いています。クラウドソーシングで個人に頼むか開発会社に頼むかで迷っている方や、前に作ってもらった仕組みが止まった方も対象です。

どこに頼むかは「止まったときに困るか」で分かれる

スクレイピングのプログラムを作ること自体は、今は ChatGPT や Claude に聞けば、1サイト分の簡単なものなら自分でできることもあります。難しいのは作ることより、動かし続けることです。対象サイトの画面が作り替えられると、昨日まで取れていた項目が今日から空欄になります。サイトの変更は、頼む側も作る側もコントロールできません。

そのため、依頼先は「止まったら何が困るか」「止まったとき誰が直すか」で選ぶのが現実的です。

データ収集の代行は、収集の仕組みを代行会社側で動かし、整えたデータを受け取る形です。たとえば PigData（ピッグデータ）のスクレイピング代行は、公開ページで「単発：10万円～」「継続：5万円/月～」と価格を示し、サーバ構築やサイトの調査費用が別にかかる場合があると書いています。納品はCSV・Excel・JSON・XMLなどの形式で、「基本的にコードだけの納品は行っておりません」とあります（PigData スクレイピング代行、2026-10-19 確認。税込・税別の記載なし）。欲しいのがデータだけで、社内の後工程を作り込まないなら、こうした代行で足りるかを先に比べてください。

手作業の時間から見当をつける（仮定に基づく試算）

開発に見合うかは、今の手作業の時間でおおよそ見当がつきます。以下は仮定に基づく試算です。

この規模なら、データ代行の継続（月5万円〜の価格例）と金額は近く、開発会社に100万円以上かけて作る理由は「時間の削減」だけでは弱いと言えます。開発が見合うのは、対象サイトや件数が多く手作業では追いつかない場合や、集めたデータを使って自社の業務（値付けの確認、仕入れの判断、営業先リストの更新など）を毎日回したい場合です。

まず確かめること：公式のデータ提供があるか

出典: デジタル庁 公式サイト

集める前に、対象サイトが公式にデータを提供していないかを確かめます。公式のAPI（決まった形でデータを渡す窓口）・CSVのダウンロード・RSS（新着のお知らせ配信）・有料のデータ提供があれば、そちらを使う方が規約の面でも、止まりにくさの面でも有利です。画面の作り替えに左右されにくく、提供側がデータの形を決めているためです。

たとえば官公庁の入札情報には、中小企業庁の「官公需情報ポータルサイト検索API」があり、官公需の入札情報を自動で取得できると政府APIカタログに載っています（政府APIカタログ、2026-10-19 確認。利用条件・登録の要否は公式で確認してください）。行政のAPIは同じカタログで探せます。

確かめ方は次のとおりです。

• 対象サイトのフッターや「ヘルプ」「開発者向け」「データ提供」「法人向け」のページを見る
• サイトの運営会社に「自動で取得したい。データ提供の方法はあるか」と問い合わせる
• 業界団体・データ販売会社が同じデータを有料で提供していないか調べる

公式のAPIがあれば、依頼の中身は「スクレイピング」ではなく「API連携」になります。API連携を頼むときに決めることは業務ツール同士をつなぐAPI連携を外注する前に決めることにまとめています。なお、集めたいのが他社サイトではなく自社で使っている業務システムのデータなら、話は別です。API連携できないシステムのデータを取り出す方法と費用をご覧ください。

規約・robots.txt・ログインを確認し、頻度と時間帯を決める

出典: Google 検索セントラル（robots.txt の概要）

公式のデータ提供が無い場合は、対象サイトごとに次の確認をしてから依頼します。この記事は法的な結論を出すものではありません。確認しても判断に迷うときは、弁護士などの専門家に相談してください。

サイトごとの確認表

robots.txt について一つ注意があります。robots.txt の国際的な仕様（RFC 9309）は、robots.txt の規則は「アクセスの許可（access authorization）の形ではない」、また「適切なセキュリティ対策の代わりではない」と書いています（RFC 9309、2026-10-19 確認）。つまり robots.txt はサイト運営者の意思表示です。除外されていれば従う一方で、除外されていないからといって、規約や法令の面で問題がないことにはなりません。

ログインが要るページは特に慎重に扱います。不正アクセス禁止法は、他人のIDやパスワードを入力して使う行為や、アクセス制限をくぐり抜ける行為を「不正アクセス行為」と定めています（管理者や本人の承諾がある場合を除く。不正アクセス行為の禁止等に関する法律 第2条第4項、2026-10-19 確認）。自社の正規のアカウントであっても、規約で自動の取得が禁じられていれば対象から外すのが無難です。依頼先に「ログインを突破できますか」「アクセス制限を避けられますか」と頼むことはやめてください。

個人情報については、個人情報保護委員会が2023年に生成AIの事業者へ出した注意喚起で、本人の同意なく要配慮個人情報（病歴など特に配慮が要る情報）を取得しないことなどを求めています（個人情報保護委員会 OpenAIに対する注意喚起の概要、令和5年6月2日、2026-10-19 確認）。これはAI事業者向けの注意喚起で、一般のデータ収集が適法かどうかを示したものではありません。ただ、公開されているページの情報でも個人情報保護法の対象になりうることを示す例であり、人に関する情報を集める前に確認する理由になります。

頻度と時間帯の決め方

相手のサーバーがどれだけのアクセスに耐えられるかは、外からは分かりません。そのため、業務に必要な最小限の頻度にするのが基本です。

• 頻度：価格や在庫なら「1日1回」で足りるかを先に考える。「変化をすぐ知りたい」なら、毎時より前に、対象を値動きの多い商品に絞れないか検討する
• ページごとの間隔：1ページ取るごとに数秒以上空ける、同時に複数ページを開かない
• 時間帯：相手の利用が少ない時間帯（早朝など）を選ぶ
• 名乗り：アクセス元の情報に、問い合わせ先が分かる名前を入れるか依頼先と相談する
• 止める条件：相手からエラーが続けて返ってきたら、その日は止める

これらは依頼書に書いておき、作る側に守ってもらう取り決めにします。

依頼前に決める項目の記入例（架空データ）

依頼の前に、次のシートを埋めておくと、見積の幅が小さくなり、個人に頼む場合も開発会社に頼む場合も話が早くなります。以下は説明用の架空データです（社員20名の家庭用品のEC事業者が、競合5サイトの約300商品の価格を毎朝確認したい、という想定）。

このシートを持って相談すれば、依頼先は「このサイトは画面の作りが複雑なので費用が上がる」「この頻度は相手への負荷が心配」といった具体的な返事ができます。

成果物は「データだけ」か「プログラムと動かす環境ごと」か

同じ「スクレイピングを頼む」でも、受け取るものの形で、費用の決まり方と止まったときの対応がまったく違います。

データ納品型は、仕組みを持たない代わりに手間がかかりません。一方で、集めたデータを自社の業務システムへ自動で登録したり、独自の条件で通知したりといった後工程は、別に作る必要があります。

プログラム納品型を選ぶときは、ソースコードを受け取ること、その利用権（自社で直してよいか、別の人に直してもらってよいか）を契約で決めておきます。納品物と権利の決め方はシステム開発の納品物一覧と著作権で詳しく扱っています。

サイトの変更で止まったときの保守の取り決め

スクレイピングは、相手のサイトが変わると止まります。「止まらない仕組み」は誰にも約束できません。約束できるのは「止まったことにすぐ気づく」ことと「決めた手順で直す」ことです。契約の前に、次の項目を決めておきます。

「止まっていた間のデータ」も契約前に決めておきます。価格や在庫は、その日に取らなければ後から取れない場合があり、気づくのが1週間遅れれば1週間分が欠けます。止まったことに気づく仕組みは、作る範囲に最初から入れておく方が安く済みます。

前に作ってもらった仕組みが止まっているとき、最初に確かめること

以前クラウドソーシング等で作ってもらった仕組みが止まった場合、直せるかどうかは、作り直す技術より手元に何が残っているかで決まります。誰に頼む場合も、最初に次を確かめてください。

止まった理由が「相手がアクセスを制限した」「規約で自動取得を禁じた」であれば、直すのではなく、対象から外すか、公式のデータ提供を探す判断になります。ソースコードも環境も残っていなければ、作り直しになることもあるでしょう。他社が作ったプログラムを引き継ぐときの進め方はシステム引き継ぎで開発会社を変更するとき、ソースと資料から頼める調査にまとめています。

自社でAIを使って進められる部分と、会社に頼む方がよい部分

出典: Claude 公式サイト

今は ChatGPT や Claude などのAIを使えば、担当者が自分で収集のプログラムを作ることもできます。何でも会社に頼む必要はありません。

自社で進めやすい部分

• 公式のデータ提供の有無、規約・robots.txt の確認（判断に迷うところは専門家へ）
• 依頼前シートの作成（取る項目・件数・頻度・置き場所・通知）
• 1サイトの試しの収集を手元のパソコンで動かし、本当に業務に使えるデータか確かめる

会社に頼む方がよい部分

• 複数サイトを毎日、決まった時刻に動かし続ける環境づくり（自社名義のクラウド）
• 止まったことに気づく仕組みと、止まったときの修理
• 集めたデータを自社の業務システムや表に自動で登録する連携、表記の揺れの整理
• 担当者が異動しても引き継げるように、ソースコード・環境・手順を残すこと

AIで作った試しのプログラムがあれば、それを相談の材料にしてください。残す部分と作り直す部分を分けて考えられます。

費用の目安と相談の範囲

当社（AI革命株式会社）の受託開発の公開価格は次のとおりです（すべて税別。詳しくは既存システムの改修・PoCの価格と進め方）。

クラウド（動かす環境）・外部API・ライセンスなどの利用料は価格に含まれず、実費で別にかかります。保守は、監視・障害対応・改修の範囲と、対応時間・費用を個別にご提案します。前の章の「止まったときの取り決め」に沿って、何を保守に含めるかを相談のうえで決めます。

当社にはWebサイトからのデータ収集を受託した公開実績はありません。当社の対応範囲には、CSVやAPIでのデータ連携、データ移行、既存の計算・分析プログラムのWeb化、他社が作ったプログラムの調査・引継ぎ・改修が含まれ、データ収集の仕組みとその後の取り込みもその延長で対応できます。この記事で扱っているのは、規約などを確かめたうえで許される範囲の収集です。規約で禁じられた収集、ログインの突破、アクセス制限の回避を前提にしたご相談には、別の手段（公式のデータ提供や許可の取り付け）を一緒に考えます。

1サイト・データだけで足りる場合は、上の価格より、データ代行や個人への単発発注の方が合います。初回相談でそうお伝えすることもあります。

集めたいデータと今の手作業から、依頼の範囲と保守の取り決めを相談する

初回相談は無料・30分（オンライン）です。要件が決まっていなくても大丈夫です。相談後に、業務の棚卸し表・効果の見立て・簡易モックと、依頼範囲の候補・進め方・費用の目安をまとめた相談メモを無料でお送りします（簡易モックは画面のイメージで、動くシステムではありません）。上の依頼前シートの一部（対象サイトの数・取る項目・頻度・置き場所）と、今の手作業にかかっている時間が分かれば十分です。前に作ってもらった仕組みがある場合は、ソースコードや動いていた環境の有無も教えてください。ID・パスワードなどの認証情報や、実際の顧客データは送らないでください。

よくある質問

Q. 集めた競合の価格を使って、自社の価格を自動で変えることもできますか？

できます。ただし、相手サイトの表示の誤りや取り違え（別の商品と結び付けてしまう等）で、自社の価格まで誤って変わるおそれがあります。最初は「変更の候補を出して、人が確認してから反映する」形にし、自動で反映する範囲（値下げ幅の上限、対象の商品）を決めてから広げるのが安全です。

Q. 相手サイトにアクセスを止められたら、回避してもらえますか？

回避を頼むことはおすすめしません。アクセスを制限されたということは、相手が自動の取得を望んでいないということです。対象から外すか、相手にデータ提供や許可をお願いするか、同じデータを提供している別の手段を探す判断になります。回避を求めると、頼んだ側も規約違反などの問題に巻き込まれるおそれがあります。

Q. 画面を開いてから情報が表示されるまで時間がかかるサイトや、PDFに載っている情報も集められますか？

技術的には集められます。ブラウザを実際に動かして表示を待つ方法や、PDFから文字を読み取る方法があります。ただし、普通のページより時間がかかり、相手サイトの変更でも止まりやすくなるため、費用と保守の手間は上がります。依頼前シートに「どのページの、どの部分か」を書いておくと見積が正確になります。

Q. 集めたデータを社外に配ったり、販売したりしてもよいですか？

用途によって確認することが変わります。社内での確認・分析だけに使う場合と比べて、社外への配布・販売、自社サイトへの掲載では、元のサイトの規約での再配布の扱い、文章・画像の著作権、人に関する情報が含まれる場合の個人情報の扱いを、それぞれ確かめる必要があります。この記事では結論を出せないので、用途を決めた段階で弁護士などの専門家に確認してください。

Q. 社内の担当者がAIで作った収集プログラムを、運用ごと引き継いでもらえますか？

対応できます。まずプログラムの中身と、どこで・どの名義で動いているかを確かめ、そのまま使える部分、直す部分、作り直す部分を分けます。止まったときの検知や、自社のクラウドでの定期実行など、手元のパソコンで動かしていたときには無かった部分を足す必要が出てきます。調べる作業が有償になる場合は、その前に範囲と金額をお示しして合意をいただきます。

Q. 何サイトくらいから開発会社に頼む方がよいですか？

サイト数だけでは決まりません。1サイトでも、毎朝のデータが業務の判断に欠かせず、止まったらすぐ直してほしい場合は、保守まで取り決めた依頼の方が合います。逆に10サイトでも、月に1回の調査で数日遅れても困らないなら、データ代行や単発の発注で足ります。「止まったら何が困るか」と「集めたデータを何につなぐか」で考えてください。

集めたいデータと今の手作業から、依頼の範囲と保守の取り決めを相談する

初回相談は無料・30分（オンライン）です。相談後に、依頼範囲の候補・進め方・費用の目安をまとめた相談メモを無料でお送りします。