在Scala / Java中批量下载

2019年3月22日 13点热度 0条评论

我使用youtube-dl来获取YouTube视频的二进制流的URL,无论出于何种原因,我都会这样做:
youtube-dl -f bestaudio -g --skip-download https://www.youtube.com/watch?v=nk5YtLYcH74
获得网址后,我以某种方式 curl 它:
https://r6---sn-gqn-vhgl.googlevideo.com/videoplayback\?id\=afe82f21e356....
或者我当然可以将输出转发到文件中,但这只是为了解释。我想下载它,但不是现在使用curl,而是使用Scala HTTP客户端下载akka-http。但是这样我得到:
IllegalResponseException: Response Content-Length 195022703 exceeds the configured limit of 8388608
我知道这是一条很大的溪流,但是如何自动 curl 呢?它如何请求块,或如何工作,如何用Scala / Java编写?

一些代码和more:

val connectionFlow = Http().outgoingConnectionTls(hostname)
val responseFuture =
  Source.single(HttpRequest(uri = path, method = GET))
    .via(connectionFlow)
    .runWith(Sink.foreach[HttpResponse] { r =>
      logger.info(s"${r.status}")
  })

解决方案如下:

akka-http的默认内容长度为8M。

在application.conf文件中增加akka http客户端解析的max-content-length值,它应该可以正常工作。

akka.http.client.parsing.max-content-length =78m

有关该链接的更多信息和信息


http://doc.akka.io/docs/akka-stream-and-http-experimental/1.0/scala/http/configuration.html