GNU/Linux >> Linux の 問題 >  >> Debian

Debian –完全なWebページコンテンツをカールさせる方法は?

Xの完全なHTMLソースコードをダウンロードしたい ただし、XリンクをカールしているWebページ そのWebページはスクロールが必要であるため、部分的なHTMLソースコードを返します。 さらにコンテンツを表示します。カールは「スクロールダウン」を超えていないようです。

これまでのところ、これは手動でしか実行できません。
1)目的のWebサイトにアクセスします
2)ブラウザのコンソールで次のコマンドを実行して自動スクロール(すべてのオブジェクトをロード)します:

var scroll =setInterval(function(){window.scrollBy(0,1000);}、2000);

3)検査要素から完全なHTMLソースコードをコピーします

だから問題は、どうすればcurlを実行できるかということです 上記の手順と同じ結果を達成するために、ターミナルで出力する前に、完全なWebページのコンテンツをスクレイプします(すべてのオブジェクトがロードされるまでスクロールします)。 curlを使用しない場合 、多分wget

承認された回答:

curl は本格的なブラウザではなく、私の知る限り、JavaScriptの実行をサポートしていません。 HTTP/FTPを使用してファイルをフェッチします。それがすべてです。ベアHTTPリクエストでは対応できないスクリプトやその他のツールに依存する機能のテストを行う場合は、Seleniumなどのより詳細なテストスイートを調べる必要があります。


Debian
  1. Debian9にRをインストールする方法

  2. Curlを使用したWebページのヘルスチェック?

  3. Debian9にOpenWebAnalyticsをインストールする方法

  1. Debian9にGoogleChromeWebブラウザをインストールする方法

  2. Debian10LinuxにCurlをインストールして使用する方法

  3. Debian10にコックピットWebコンソールをインストールする方法

  1. Debian9にClojureWebアプリケーションをデプロイする方法

  2. Debian9にMatomoWebAnalyticsをインストールする方法

  3. Debian11にCaddyWebサーバーをインストールする方法