その後の進捗です。
3月の終わりには、何とかデータを取るところまでたどり着いたので、まだまだ先は長いにしても、トンネルの先に光が見えたかに思えたのですが、その後かなり絶望的な状況になりました。
今回の方法は、サーバー内にChromヘッドレスブラウザを立ち上げて、それで川の防災情報の該当ページを表示させて、そこから値を読み取るというものです。パフォーマンスが悪いだろうと予想していましたが、相当絶望的に遅いのです。
特にダム。最初のページに出ているのは貯水位と貯水量なので、放流量を表示するには画面内のボタンを押さないといけません。
エンターしてから結果が出るまで10秒余りかかります。
そして、同時実行させると、パフォーマンスはさらに劣化。4多重で数分。悪くすれば途中でエラーです。
ページ読み込みが完了まで待ち合わせをさせることでエラーは回避できましたが、エラーにならないだけで、レスポンスが良くなるわけではありません。
テストしている感触だと、複数実行させても、処理のどこかの部分は、シリアルに動いている雰囲気。
内部的にブラウザが上がることになるので、遅いのは致し方ないのか。
しかも、今回レンタルしたサーバーは一番安い、メモリ512MBのプラン。
1GBくらいまでなら、金額的に出せなくもないけど、1GBにしたところで、10個の水位計の同時表示でサクサク動くとは到底思えません。
チューニングの余地はあるでしょうが、焼け石に水と言っていいでしょう。
劇的に改善しない限りは使えません。
かなり絶望的な状況となってしまいました。
そして、絶望の淵の底から空を見上げたら、希望の星が見えたのでした。(つづく)
コメント