Branch data     Line data    Source code

       1                 :            : /***************************************************************************
       2                 :            :                        qgsnetworkcontentfetcher.cpp
       3                 :            :                              -------------------
       4                 :            :     begin                : July, 2014
       5                 :            :     copyright            : (C) 2014 by Nyall Dawson
       6                 :            :     email                : nyall dot dawson at gmail dot com
       7                 :            : 
       8                 :            :  ***************************************************************************/
       9                 :            : 
      10                 :            : /***************************************************************************
      11                 :            :  *                                                                         *
      12                 :            :  *   This program is free software; you can redistribute it and/or modify  *
      13                 :            :  *   it under the terms of the GNU General Public License as published by  *
      14                 :            :  *   the Free Software Foundation; either version 2 of the License, or     *
      15                 :            :  *   (at your option) any later version.                                   *
      16                 :            :  *                                                                         *
      17                 :            :  ***************************************************************************/
      18                 :            : 
      19                 :            : #include "qgsnetworkcontentfetcher.h"
      20                 :            : #include "qgsnetworkaccessmanager.h"
      21                 :            : #include "qgsmessagelog.h"
      22                 :            : #include "qgsapplication.h"
      23                 :            : #include "qgsauthmanager.h"
      24                 :            : #include <QNetworkReply>
      25                 :            : #include <QTextCodec>
      26                 :            : 
      27                 :          0 : QgsNetworkContentFetcher::~QgsNetworkContentFetcher()
      28                 :          0 : {
      29                 :          0 :   if ( mReply && mReply->isRunning() )
      30                 :            :   {
      31                 :            :     //cancel running request
      32                 :          0 :     mReply->abort();
      33                 :          0 :   }
      34                 :          0 :   delete mReply;
      35                 :          0 : }
      36                 :            : 
      37                 :          0 : void QgsNetworkContentFetcher::fetchContent( const QUrl &url, const QString &authcfg )
      38                 :            : {
      39                 :          0 :   QNetworkRequest req( url );
      40                 :          0 :   QgsSetRequestInitiatorClass( req, QStringLiteral( "QgsNetworkContentFetcher" ) );
      41                 :            : 
      42                 :          0 :   fetchContent( req, authcfg );
      43                 :          0 : }
      44                 :            : 
      45                 :          0 : void QgsNetworkContentFetcher::fetchContent( const QNetworkRequest &r, const QString &authcfg )
      46                 :            : {
      47                 :          0 :   QNetworkRequest request( r );
      48                 :            : 
      49                 :          0 :   mAuthCfg = authcfg;
      50                 :          0 :   if ( !mAuthCfg.isEmpty() )
      51                 :            :   {
      52                 :          0 :     QgsApplication::authManager()->updateNetworkRequest( request, mAuthCfg );
      53                 :          0 :   }
      54                 :            : 
      55                 :          0 :   mContentLoaded = false;
      56                 :          0 :   mIsCanceled = false;
      57                 :            : 
      58                 :          0 :   if ( mReply )
      59                 :            :   {
      60                 :            :     //cancel any in progress requests
      61                 :          0 :     mReply->abort();
      62                 :          0 :     mReply->deleteLater();
      63                 :          0 :     mReply = nullptr;
      64                 :          0 :   }
      65                 :            : 
      66                 :          0 :   mReply = QgsNetworkAccessManager::instance()->get( request );
      67                 :          0 :   if ( !mAuthCfg.isEmpty() )
      68                 :            :   {
      69                 :          0 :     QgsApplication::authManager()->updateNetworkReply( mReply, mAuthCfg );
      70                 :          0 :   }
      71                 :          0 :   mReply->setParent( nullptr ); // we don't want thread locale QgsNetworkAccessManagers to delete the reply - we want ownership of it to belong to this object
      72                 :          0 :   connect( mReply, &QNetworkReply::finished, this, [ = ] { contentLoaded(); } );
      73                 :          0 :   connect( mReply, &QNetworkReply::downloadProgress, this, &QgsNetworkContentFetcher::downloadProgress );
      74                 :          0 : }
      75                 :            : 
      76                 :          0 : QNetworkReply *QgsNetworkContentFetcher::reply()
      77                 :            : {
      78                 :          0 :   if ( !mContentLoaded )
      79                 :            :   {
      80                 :          0 :     return nullptr;
      81                 :            :   }
      82                 :            : 
      83                 :          0 :   return mReply;
      84                 :          0 : }
      85                 :            : 
      86                 :          0 : QString QgsNetworkContentFetcher::contentAsString() const
      87                 :            : {
      88                 :          0 :   if ( !mContentLoaded || !mReply )
      89                 :            :   {
      90                 :          0 :     return QString();
      91                 :            :   }
      92                 :            : 
      93                 :          0 :   QByteArray array = mReply->readAll();
      94                 :            : 
      95                 :            :   //correctly encode reply as unicode
      96                 :          0 :   QTextCodec *codec = codecForHtml( array );
      97                 :          0 :   return codec->toUnicode( array );
      98                 :          0 : }
      99                 :            : 
     100                 :          0 : void QgsNetworkContentFetcher::cancel()
     101                 :            : {
     102                 :          0 :   mIsCanceled = true;
     103                 :            : 
     104                 :          0 :   if ( mReply )
     105                 :            :   {
     106                 :            :     //cancel any in progress requests
     107                 :          0 :     mReply->abort();
     108                 :          0 :     mReply->deleteLater();
     109                 :          0 :     mReply = nullptr;
     110                 :          0 :   }
     111                 :          0 : }
     112                 :            : 
     113                 :          0 : bool QgsNetworkContentFetcher::wasCanceled() const
     114                 :            : {
     115                 :          0 :   return mIsCanceled;
     116                 :            : }
     117                 :            : 
     118                 :          0 : QTextCodec *QgsNetworkContentFetcher::codecForHtml( QByteArray &array ) const
     119                 :            : {
     120                 :            :   //QTextCodec::codecForHtml fails to detect "<meta charset="utf-8"/>" type tags
     121                 :            :   //see https://bugreports.qt.io/browse/QTBUG-41011
     122                 :            :   //so test for that ourselves
     123                 :            : 
     124                 :            :   //basic check
     125                 :          0 :   QTextCodec *codec = QTextCodec::codecForUtfText( array, nullptr );
     126                 :          0 :   if ( codec )
     127                 :            :   {
     128                 :          0 :     return codec;
     129                 :            :   }
     130                 :            : 
     131                 :            :   //check for meta charset tag
     132                 :          0 :   QByteArray header = array.left( 1024 ).toLower();
     133                 :          0 :   int pos = header.indexOf( "meta charset=" );
     134                 :          0 :   if ( pos != -1 )
     135                 :            :   {
     136                 :          0 :     pos += int( strlen( "meta charset=" ) ) + 1;
     137                 :          0 :     int pos2 = header.indexOf( '\"', pos );
     138                 :          0 :     QByteArray cs = header.mid( pos, pos2 - pos );
     139                 :          0 :     codec = QTextCodec::codecForName( cs );
     140                 :          0 :     if ( codec )
     141                 :            :     {
     142                 :          0 :       return codec;
     143                 :            :     }
     144                 :          0 :   }
     145                 :            : 
     146                 :            :   //fallback to QTextCodec::codecForHtml
     147                 :          0 :   codec = QTextCodec::codecForHtml( array, codec );
     148                 :          0 :   if ( codec )
     149                 :            :   {
     150                 :          0 :     return codec;
     151                 :            :   }
     152                 :            : 
     153                 :            :   //no luck, default to utf-8
     154                 :          0 :   return QTextCodec::codecForName( "UTF-8" );
     155                 :          0 : }
     156                 :            : 
     157                 :          0 : void QgsNetworkContentFetcher::contentLoaded( bool ok )
     158                 :            : {
     159                 :            :   Q_UNUSED( ok )
     160                 :            : 
     161                 :          0 :   if ( mIsCanceled )
     162                 :            :   {
     163                 :          0 :     emit finished();
     164                 :          0 :     return;
     165                 :            :   }
     166                 :            : 
     167                 :          0 :   if ( mReply->error() != QNetworkReply::NoError )
     168                 :            :   {
     169                 :          0 :     QgsMessageLog::logMessage( tr( "HTTP fetch %1 failed with error %2" ).arg( mReply->url().toString(), mReply->errorString() ) );
     170                 :          0 :     mContentLoaded = true;
     171                 :          0 :     emit finished();
     172                 :          0 :     return;
     173                 :            :   }
     174                 :            : 
     175                 :          0 :   QVariant redirect = mReply->attribute( QNetworkRequest::RedirectionTargetAttribute );
     176                 :          0 :   if ( redirect.isNull() )
     177                 :            :   {
     178                 :            :     //no error or redirect, got target
     179                 :          0 :     QVariant status = mReply->attribute( QNetworkRequest::HttpStatusCodeAttribute );
     180                 :          0 :     if ( !status.isNull() && status.toInt() >= 400 )
     181                 :            :     {
     182                 :          0 :       QgsMessageLog::logMessage( tr( "HTTP fetch %1 failed with error %2" ).arg( mReply->url().toString(), status.toString() ) );
     183                 :          0 :     }
     184                 :          0 :     mContentLoaded = true;
     185                 :          0 :     emit finished();
     186                 :            :     return;
     187                 :          0 :   }
     188                 :            : 
     189                 :            :   //redirect, so fetch redirect target
     190                 :          0 :   mReply->deleteLater();
     191                 :          0 :   fetchContent( redirect.toUrl(), mAuthCfg );
     192                 :          0 : }
     193                 :            : 
     194                 :            : 
     195                 :            : 
     196                 :            :