네이버에서 환율시세 크롤링해서 활용하기(2)

https://www.moayo.net/p-moayo-20583 (짧은주소)

네이버의 환율 정보를 크롤링 하는 프로그램입니다

php 로 작업 되어 있으며 새로 고침 할때만 크롤링 되는 문제를 해결하기 위해

리눅스 크론탭을 활용하였습니다

크론탭은 스케쥴 관련 데몬으로 특정 시간에 프로그램이 작동되게 해주는 데몬입니다

크론에서 다이렉트로 php 파일을 실행하면 좋겠지만

실행되지 않아

크론에서는 쉘스크립트를 실행해주고 쉘스크립트에서는 php 파일을 실행시켜주는 형태로 작업이 되어 있습니다

작업전 준비 작업 입니다

-환율 정보를 가져올수 있는 페이지 https://finance.naver.com/marketindex/exchangeDetail.naver?marketindexCd=FX_USDKRW

주소 내에 iframe 형태로 일별시세페이지가 존재함

https://finance.naver.com/marketindex/exchangeDailyQuote.naver?marketindexCd=FX_USDKRW&page=1

해당주소에서 크롤링함

-외부환율 정보를 크롤링할 php 파일작업

-php 파일을 실행할수 있는 sh 스크립트파일 작업

-cron에 sh(쉘스크립트) 실행 스케줄 추가

sh_01_dollar.sh

#!/bin/bash
/home/t21081801/www/shell/sh_01_dollar.php

sh_01_dollar.php

#!/usr/local/bin/php
<?
$DOCUMENT_ROOT="/home/t21081801/www";//절대결로지정해줌
include "$DOCUMENT_ROOT/swww/dbcon.php";

$date=date("H:i");//시간


//달러관련 업데이트 추리하는 부분
{
  $TITLE="달러투자";
  $tableName="t21081801_hdollar";

  $dollar_wdate=date("Y-m-d H:i:s");
  $htmlcontent=file_get_contents("https://finance.naver.com/marketindex/exchangeDailyQuote.naver?marketindexCd=FX_USDKRW");
  $htmlcontent=mb_convert_encoding($htmlcontent, "UTF-8", "EUC-KR");

  $htmlcontent=str_replace('<td class="date">',';;',$htmlcontent);//날자
  $htmlcontent=str_replace('<td class="num">','::',$htmlcontent);
  $htmlcontent=strip_tags($htmlcontent);
  $htmlcontent=str_replace(' ','',$htmlcontent);
  $htmlcontent=str_replace('	','',$htmlcontent);
  $htmlcontent=str_replace("\n","",$htmlcontent);
  //$htmlcontent=str_replace("<br><br>","<br>",$htmlcontent);
  $A=explode(";;",$htmlcontent);

  for($i=1;$i<count($A);$i++){
    $B=explode("::",$A[$i]);  
    $B[0]=str_replace(".","-",str_replace("회","",$B[0]));//날짜
    $B[1]=str_replace(",","",$B[1]);
    

    //내용 입력된 여부
    $csql="  select idx_code from $tableName where 1 ";
    $csql.=" and ext1='{$B[0]}'";
    $cresult=mysql_query($csql,$dbcon);
    $crow=mysql_fetch_array($cresult);

    if($crow[idx_code]){
      if(date("Y-m-d")==$B[0]){//오늘날짜만 수정
        $usql="  update $tableName set ";
        $usql.="  p_int1='{$B[1]}' ";//환율
        $usql.=" ,wdate='$dollar_wdate'";
        $usql.=" ,ext1='{$B[0]}'";
        $usql.=" where 1 ";
        $usql.=" and idx_code='{$crow[idx_code]}'";
        mysql_query($usql,$dbcon);
      }

    }else{
      $isql="  insert $tableName set ";
      $isql.="  p_title='환율'";
      $isql.=" ,use_yn='y'";//활성
      $isql.=" ,wdate='$dollar_wdate'";
      $isql.=" ,ext1='".$B[0]."'";
      $isql.=" ,p_int1='{$B[1]}' ";//환율
      mysql_query($isql,$dbcon);
    }

  }
}
?>

유사한정보