Devil Killer Is Here MiNi Shell
MiNi SheLL

Current Path : /home/vmanager/www/console/controllers/actions/
Linux 9dbcd5f6333d 5.15.0-102-generic #112-Ubuntu SMP Tue Mar 5 16:50:32 UTC 2024 x86_64
Current File : /home/vmanager/www/console/controllers/actions/ImportJobOffersPracaPlAction.php
<?php

namespace console\controllers\actions;

ini_set('xdebug.overload_var_dump', 1);

use \Yii;
use yii\base\Action;
use yii\helpers\ArrayHelper;
use common\models\Regions;
use common\models\JobOffersExternalCategories;
use yii\caching\TagDependency;
use yii\console\ExitCode;

class ImportJobOffersPracaPlAction extends ImportJobOffersAbstractAction
{
    public $debugShowSourceFilesMessages;
    public $debugShowSingleOfferDataUpdatedInDB;
    public $debugShowQueueExecutive;
    
    protected $_sourceUrl = 'http://www.praca.pl/xml/'; 
    protected $_sourceFile = '';
    protected $_sourceTypeShortName = 'praca';
    protected $_sourceTypeFullName = 'praca.pl';
    
    private $_regions;
    private $_idsProcessedCategories = [];
    private $_sourceHashLink = '';
    private $_queueFilename = 'queue.txt';
    private $_queueExecutive = [];
    
    public function run() 
    {
        $this->getOffers();
        
    }
    
    public function init() 
    {
        $this->_sourceDir = Yii::getAlias('@runtime').'/joboffers/praca/';
        $this->_regions = ArrayHelper::map(Regions::find()->select(['id_region', 'name'])->where(['id_country' => 'PL'])->asArray()->all(), 'id_region', 'name');
        parent::init();
    }
    
    function __destruct() 
    {        
        @unlink($this->_sourceDir.$this->_sourceHashLink.'.xml');
        
        /**
         * Ustawiamy status równy 0 dla danego źródła w ramach przetworzonej już kategorii 
         */
        $this->_queueExecutive[$this->_sourceHashLink] = 0;
        $flag = file_put_contents($this->_sourceDir.$this->_queueFilename, serialize($this->_queueExecutive));
        
        TagDependency::invalidate(Yii::$app->frontendCache, ['mainpage_box_job_offers']);
    }
    
    private function _initializeQueue() 
    {
        $this->_queueExecutive = [];
        foreach($this->_categoryMap as $hash => $idsCategories) {
            $this->_queueExecutive[$hash] = 1;
        }
        
        file_put_contents($this->_sourceDir.$this->_queueFilename, serialize($this->_queueExecutive));
    }
    
    private function _getFirstUnprocessedLink() 
    {
        foreach($this->_queueExecutive as $hash => $status) {
            if($status) {
                $this->_sourceHashLink = $hash;
                return true;
            }
        }
        return false;
    }
    
    protected function _getSourceData() 
    {
        if(!file_exists($this->_sourceDir)) {
            mkdir($this->_sourceDir, 0777, true);
        }
        
        /*
         * Praca.pl udostępnia pojedyncze pliki XML zawierające ogłoszenia z danej kategorii. 
         * Aby skrypt nie wywieszał serwera czytamy po jednym pliku dla pojedynczego wykonania. 
         */
        if(!file_exists($this->_sourceDir.$this->_queueFilename)) {
            $this->_initializeQueue();
        }
        $this->_queueExecutive = unserialize(file_get_contents($this->_sourceDir.$this->_queueFilename)); 
        
        $isAnyUnprocessedFile = $this->_getFirstUnprocessedLink();        
        if(!$isAnyUnprocessedFile) { //oznacza, że wszystkie linki źródłowe miały wartość = 0
            $this->_initializeQueue(); //inicjujemy kolejkę od nowa
            $this->_getFirstUnprocessedLink(); //bierzemy pierwszy nieprzetworzony link
        }
        
        if($this->debugModeOn == self::DEBUG_MODE_ON && $this->debugShowQueueExecutive) {
            $this->controller->stdout('Kolejka wykonawcza plików: ');
            var_dump($this->_queueExecutive);
        }
        
        $this->_idsProcessedCategories = $this->_categoryMap[$this->_sourceHashLink];
        
        $defaultSocketTimeout = (int)ini_get('default_socket_timeout');        
        ini_set('default_socket_timeout', 300);
        
        try {
            $xmlString = file_get_contents($this->_sourceUrl.$this->_sourceHashLink);        
            if(!$xmlString) {
                if($this->debugModeOn == self::DEBUG_MODE_ON && $this->debugShowSourceFilesMessages) {
                    $this->controller->stderr('/>Wystąpił błąd podczas pobierania pliku z danymi.');
                }
                return ExitCode::IOERR;
            }
        } catch (\Exception $ex) {
            if($this->debugModeOn == self::DEBUG_MODE_ON && $this->debugShowSourceFilesMessages) {
                $this->controller->stderr('/>Wystąpił błąd podczas pobierania pliku z danymi.');
            }
            return ExitCode::IOERR;
        }        
        
        ini_set('default_socket_timeout', $defaultSocketTimeout);
        
        $writeStatus = file_put_contents($this->_sourceDir.$this->_sourceHashLink.'.xml', $xmlString);
        if($writeStatus === false) {
            if($this->debugModeOn == self::DEBUG_MODE_ON && $this->debugShowSourceFilesMessages) {
                $this->controller->stderr('/>Wystąpił błąd podczas zapisywania pliku z danymi.');
            }
            return ExitCode::IOERR;
        }
        $this->_sourceFile = $this->_sourceHashLink.'.xml';
        unset($xmlString);        
    }
    
    protected function _getOfferDataFromXmlEntry($xmlEntry) 
    {
        $offer = [
            'id' => trim((string)$xmlEntry->id),
            'nr_ref' => trim((string)$xmlEntry->nr_ref),
            'data_wystawienia' => (string)$xmlEntry->data_wystawienia,
            'data_wygasniecia' => (string)$xmlEntry->data_wygasniecia,
            'tytul' => trim((string)$xmlEntry->tytul),
            'firma_nazwa' => trim((string)$xmlEntry->firma->nazwa),
            'miasto' => trim((string)$xmlEntry->miasto),
            'wojewodztwo' => isset($this->_regions[(int)$xmlEntry->wojewodztwo]) ? (int)$xmlEntry->wojewodztwo : null,
            'url' => trim((string)$xmlEntry->url),
            'opis_stanowiska' => trim((string)$xmlEntry->opis_stanowiska),
            'oferujemy' => trim((string)$xmlEntry->oferujemy),
            'wymagania' => trim((string)$xmlEntry->wymagania),
            'forma_kontaktu' => trim((string)$xmlEntry->forma_kontaktu),
            'branza' => (string)$xmlEntry->branza,
            'zagraniczne' => isset($this->_regions[(int)$xmlEntry->wojewodztwo]) ? 0 : 1,
        ];
                
        if($this->debugModeOn == self::DEBUG_MODE_ON) {
            if($this->debugShowSingleXmlEntry) {
                $this->controller->stdout('Dane z rekordu xml: ');
                var_dump($xmlEntry);
            }
            
            if($this->debugShowSingleOfferData) {
                $this->controller->stdout('Dane wyciągnięte z rekordu xml: ');
                var_dump($offer);
            }
        }
        
        return $offer;
    }
    
    protected function _prepareDataForSave($offer) 
    {       
        $content = '';
        if($offer['nr_ref']) {
            $content .= '<b>Numer referencyjny:</b> '.$offer['nr_ref'].'<br /><br />';
        }
        
        if($offer['opis_stanowiska']) {
            $content .= '<br /><br /><b>Opis stanowiska:</b><br /><br />';
            $content .= nl2br($offer['opis_stanowiska']);
        }
        if($offer['wymagania']) {
            $content .= '<br /><br /><b>Wymagania:</b><br /><br />';
            $content .= nl2br($offer['wymagania']);
        }
        if($offer['oferujemy']) {
            $content .= '<br /><br /><b>Oferujemy:</b><br /><br />';
            $content .= nl2br($offer['oferujemy']);
        }
        if($offer['forma_kontaktu']) {
            $content .= '<br /><br /><b>Forma kontaktu:</b><br /><br />';
            $content .= nl2br($offer['forma_kontaktu']);
        }
        
        $preparedOffer = [
            'id' => $offer['id'],
            'company_name' => $offer['firma_nazwa'],
            'city' => $offer['miasto'],
            'www' => $offer['url'],
            'email' => '',
            'region_id' => $offer['wojewodztwo'],
            'or_foreign' => $offer['zagraniczne'],
            'title' => $offer['tytul'],
            'content' => $content,
            'pub_start_date' => $offer['data_wystawienia'],
            'pub_end_date' => $offer['data_wygasniecia'],
            'categories' => $this->_idsProcessedCategories
        ];
        
        return $preparedOffer;
    }
    
    /**
     * Trzeba nadpisać domyślną metodę, ponieważ tutaj jedno ogłoszenie może pojawić się w kilku 
     * dostarczanych nam plikach. Należy więc sprawdzać dodatkowo obecność powiązania ogłoszenia z kategoriami. 
     * Jeśli ogłoszenie istnieje, ale nie zawiera powiązania z przetwarzanymi kategoriami, to należy powiązania stworzyć.
     */
    protected function _getOffersAvailableInDB() 
    {
        $offersFromDB = Yii::$app->db->createCommand('SELECT o.id_offer_external, ohc.id_category, o.id_offer FROM job_offers o, job_offers_has_job_offers_categories ohc WHERE o.id_offer = ohc.id_offer AND o.id_source = \''.$this->_sourceTypeShortName.'\'')->queryAll();
        if(!empty($offersFromDB)) {
            foreach($offersFromDB as $offerFromDB) {
                $this->_offersInDB[$offerFromDB['id_offer_external']][$offerFromDB['id_category']] = $offerFromDB['id_offer'];
            }
        }
        if($this->debugModeOn == self::DEBUG_MODE_ON && $this->debugShowOffersAvailableInDB) {
            $this->controller->stdout('Oferty ze źródła '.$this->_sourceTypeFullName.' aktualnie dostępne w bazie: ');
            if(empty($this->_offersInDB)) echo 'BRAK';
            else {
                foreach($this->_offersInDB as $offerInDB) {
                    echo $offerInDB.' ';
                }
            }
        }
    }
    
    protected function _checkConditionsForSave($preparedOffer, $offer) 
    {        
        if(!$this->_checkPublicationEndDatetime($preparedOffer['pub_end_date'])) {
            return false;
        }
        
        if(!$this->_checkIfSelectedOfferBelongsToCompatibleCategory($preparedOffer)) {
            return false;
        }
        
        if($this->_checkIfSelectedOfferExists($preparedOffer['id'])) {
            //sprawdzamy, czy istniejące w bazie ogłoszenie ma już powiązanie z przetwarzaną kategorią;
            //jeśli go nie posiada, to wykonujemy stosowny UPDATE
            $this->_saveNewCategoriesIfNotExists($preparedOffer['id']);     
            return false;
        }
        
        return true; 
    }
    
    protected function _saveNewCategoriesIfNotExists($idExternalOffer) 
    {        
        foreach($this->_idsProcessedCategories as $idProcessedCategory) {
            $existsCategories = array_keys($this->_offersInDB[$idExternalOffer]);
            $idOfferTemp = array_values($this->_offersInDB[$idExternalOffer]);
            $idOffer = $idOfferTemp[0];
            if(!in_array($idProcessedCategory, $existsCategories)) {
                //dodajemy powiązanie
                $this->_insertSqlCommand_2->bindValue(':id_offer', $idOffer);
                $this->_insertSqlCommand_2->bindValue(':id_category', $idProcessedCategory);
                try {
                    $result = $this->_insertSqlCommand_2->execute();
                } catch (\Exception $e) {
                    if($this->debugModeOn == self::DEBUG_MODE_ON && $this->debugShowWritingErrors) {
                        $this->controller->stdout('Błąd: '.$e->getMessage());
                        $this->controller->stdout('Zapytanie SQL: '.$this->_insertSqlCommand_2->rawSql);
                    }
                }
            }
        }
    }
}
Creat By MiNi SheLL
Email: jattceo@gmail.com