Xの完全なHTMLソースコードをダウンロードしたい ただし、XリンクをカールしているWebページ そのWebページはスクロールが必要であるため、部分的なHTMLソースコードを返します。 さらにコンテンツを表示します。カールは「スクロールダウン」を超えていないようです。
これまでのところ、これは手動でしか実行できません。
1)目的のWebサイトにアクセスします
2)ブラウザのコンソールで次のコマンドを実行して自動スクロール(すべてのオブジェクトをロード)します:
var scroll =setInterval(function(){window.scrollBy(0,1000);}、2000);
3)検査要素から完全なHTMLソースコードをコピーします
だから問題は、どうすればcurl
を実行できるかということです 上記の手順と同じ結果を達成するために、ターミナルで出力する前に、完全なWebページのコンテンツをスクレイプします(すべてのオブジェクトがロードされるまでスクロールします)。 curl
を使用しない場合 、多分wget
?
承認された回答:
curl
は本格的なブラウザではなく、私の知る限り、JavaScriptの実行をサポートしていません。 HTTP/FTPを使用してファイルをフェッチします。それがすべてです。ベアHTTPリクエストでは対応できないスクリプトやその他のツールに依存する機能のテストを行う場合は、Seleniumなどのより詳細なテストスイートを調べる必要があります。
Debian –インストールされているパッケージの選択をあるDebianシステムから別のシステムに複製する方法は? (debian Wheezy)?
Debian – Dead.letterの不思議な「ホストを解決できない」?