[python] selenium 클릭 문제

selenium을 이용하던 중, 버튼을 클릭하는 곳에서 문제가 발생하였다.

분명 input이고 type은 button 인데 클릭을 하려고 하면 오류가 발생해서 고민과 검색을 통해서 아래와 같이 해결하였다. 처음 코드는 아래와 같았다.

driver.find_element_by_xpath("//input[@type='button']").click()

해당 코드를 사용해본 결과 정상 동작하지 않는 것을 확인, 구글 검색을 통해 Enter 키를 전송하면 클릭이 된다는 이야기가 있어서 아래와 같이 수정하여 적용해보았다.

driver.find_element_by_xpath("//input[@type='button']").send_key(Keys.ENTER)

하지만 위의 코드 역시 적용되지 않았기에 고민을 거듭하다가 html 코드를 자세히 보니 해당 버튼을 클릭하면 javascript를 호출하도록 되어 있었다.

<input type="button" value="button" onclick="some_java_script(some_value);">

그래서 그냥 selenium 자체에서 해당 스크립트를 실행하는 방법으로 변경하여 접근하였다.

driver.execute("some_java_script(some_value);")

해당 코드를 실행해 본 결과 정상적으로 동작하는 것을 확인하였다.

자동차 모니터링을 위한 TorquePro 로그 서버 구축

자동차를 관리하다보면 궁금한 것이 자꾸 생긴다. 예를들어 내가 이번 년도에 몇 키로나 운행했지? 내가 낸 최고 속도는? 자동차의 오일 변화는? 내가 자주 운행하는 곳은?

이러한 궁금증이 쌓이다보니 이전부터 안드로이드나 OBD2를 가지고 차량 상태를 모니터링 하는 방법을 고심하기도 했었다.

아무튼 현재 상태는 넥서스7 2세대 WiFi + OBD2 + TorquePro(App) + Advanced PID for Hyundai(App)의 조합으로 현 상태를 모니터링 할 수 있게 되었다. 넥서스7 2세대의 경우 일부 개조를 통해 자동차 시동이 걸리면 자동 부팅되고, 후방 카메라와 연결되어 화면을 출력해주는 등 여러가지 기능을 수행한다. 뭐, 이건 다음에 시간이 되면 따로 다루도록 하겠다.

이 구조에서 현재 상태 모니터링은 아무 문제 없었다. 현재 제네시스 쿠페 380에서 가장 큰 문제는 냉각 문제였는데… TorquePro를 사용하면 왠만한 정보는 다 읽을 수 있고, 심지어 오류코드 삭제까지 되니 충분했다. 하지만… 로그를 남길 수가 없었다.

물론 인터넷에 연결되었을 때 메일로 로그를 자동으로 보낼 수 있게하는 기능이 있긴하지만… 메일로 받아서 그걸 정리하고 데이터 추출하고… 귀찮은 일이 너무 많아지게 된다. 그래서 옵션을 좀 뒤지다보니… WebServerURL을 입력하는 곳이 있다! 그래서 조금 더 구글을 열심히 뒤져보니 TorquePro에서 인터넷이 연결되어 있을 경우, 주기적으로(최소 1초 단위) 모니터링하고자 하는 값들을 웹서버로 보내는 기능이 들어 있었다.

실제로 해당 기능을 바탕으로 TorquePro 공식 홈페이지에서 로그를 저장하고 볼 수 있는 기능을 제공하고 있고, 심지어 개인 서버에서 돌릴 수 있도록 PHP 등으로 구현된 서버 프로그램도 있었다.

그런데… 그래도 역시… 삽질은 해야 재미아니겠는가? 그래서 해당 내용들을 조사하고 정리하여 아래와 같은 구조로 동작한다는 것을 확인했다.

위의 그림을 보면 1단계는 TorquePro 어플리케이션에서 사용자가 설정한 URL로 GET 방식으로 Request 하는 것으로 시작한다. 가끔 인터넷 서핑할 때 http://……./…..?some=thing&all=about 같은 형태를 본적이 있을텐데 이게 GET 방식으로 데이터를 전달 하는 것이다.

해당 데이터를 JSON 형태로 보면

{
        "eml" : [EMAIL Address],
        "time" : [UNIX TIMESTAMP],
        "kff1001" : ....,
        .
        .
        .
        [KEY] : [VALUE]
}

위의 형태로 표현할 수 있다. 이게 GET 방식으로 전달되면

http://[URL]?eml=[EMAIL Address]&time=[UNIX TIMESTAMP]&kff1001=.....&[KEY]=[VALUE]

와 같이 데이터 전달을 수행한다. 일단 그럼 데이터는 서버로 전달된다. 그럼 서버에서는 해당 데이터를 파싱하고 저장하면 된다. 몰론 이걸로 끝은 아니다. 서버에서는 해당 데이터를 잘 받았다고 “OK!” 문자열을 응답으로 보내면 된다.

현재 해당 내용을 바탕으로 Flask + Apache2 를 이용하여 서버를 구축해보았다. 실제 데이터베이스에 저장된 내용은 아래와 같았다.

6320|[email]|1551670913242|kff1007|96.9
6321|[email]|1551670913242|GPSLongitude|000.000000
6322|[email]|1551670913242|kff1001|4.5
6323|[email]|1551670913242|GPSAccuracy|10.0
6324|[email]|1551670913242|GPSSatellites|8.0
6325|[email]|1551670913242|EngineRPM|635.0
6326|[email]|1551670913242|GPSAltitude|00.000000
6327|[email]|1551670913242|GPSLatitude|00.000000
6328|[email]|1551670913242|k-2149|56.0
6329|[email]|1551670913242|Bank1CatalystTemp|680.0
6330|[email]|1551670913242|TransmissionTemp|86.0
6331|[email]|1551670913242|v|8.0

실제 저장된 데이터를 보면 정상적으로 데이터가 들어오는 것을 알 수 있다. 아, GPS 정보도 정확하게 들어온다. 0으로 매워둔 것은 아무래도 개인 정보다 보니 가렸다. 아무튼, 지금 저장된 데이터의 이름은 KEY 값을 사람이 알아볼 수 있는 값으로 저장한 것이다. 현재까지 사용한 KEY 값은 다음과 같다.

k3c = "Bank1CatalystTemp"
k3d = "Bank2CatalystTemp"
k2f = "FuelLevel"
kff1001 = "GPSSpeed"
kff1006 = "GPSLatitude"
kff1005 = "GPSLongitude"
kff1007 = "GPSBearing"
kff1010 = "GPSAltitude"
kff123a = "GPSSatellites"
kff1239 = "GPSAccuracy"
kc = "EngineRPM"
k5 = "EngineCoolantTemp"
kfe1805 = "TransmissionTemp"
kf = "IntakeAirTemp"

일부값은 코드가 노출이 안되는 것들이 있었다. 특히 Advanced PID for Hyundai 같은 유료 PID 어플 같은 경우에는 PID가 나타나지 않아 조금 더 모니터링이 필요할 것으로 보여진다.

이번 작업은 대략적으로 어떻게 데이터를 받아들일지에 대한 고민을 해보고 해결을 하기 위해 작업한 것으로 정리할 곳이 많다. 그래서 코드나 웹을 공개하긴 조…금… 부끄럽다. 뭐, 계속해서 업데이트 해서 최종판을 공개하는게 목표긴하지만… 허허허 앞으로 지속적인 업데이트를 수행할 예정이다.

Apache2 + Flask 환경 구성

Apache2 에서 wsgi 모듈을 이용하여 Flask 개발 환경을 구성하는 방법에 대해 간단히 기록한다.

일단, Apache2에서 wsgi 모듈을 설치해야 한다.

sudo apt-get install libapache2-mod-wsgi

그 후에 간단한 구조를 구성해준다. 나는 그냥 간단하게 /FLASK/flask_app 폴더에 __init__.py와 flask_app.wsgi 파일을 생성해두었다.

/FLASK/flask_app/
                /__init__.py
                /flask_app.wsgi

먼저 __init__.py 에 Flask를 이용한 화면 뷰를 구성해준다.

import flask

app = flask.Flask(__name__)

@app.route("/")
def ok_print():
    return "OK!"

if __name__ == '__main__':
    app.run()

간단하게 접속하면 “OK!”를 뿌려주는 뷰이다. 다음으로 flask_app.wsgi 파일을 생성해준다.

#!/usr/bin/python
import sys
sys.path.insert(0, "/FLASK/")
from flask_app import app as application

간단히 보면 현재 패스를 /FLASK로 변경하고 flask_app의 app을 application으로 할당하여 apache2 mod_wsgi 모듈을 통해 실행한다는 의미로 이해된다. 그리고 /FLASK 폴더의 권한을 www-data:www-data로 할당한다.

chown -R www-data:www-data /FLASK

마지막으로 VirtualHost 세팅을 아래을 위해 /etc/apache2/sites-available 폴더에 파일을 하나 생성한다. 나는 편리한 사용을 위해 ok.teshi.net.conf 라는 파일명으로 생성해주었다. 해당 파일 내용은 아래와 같다.

<VirtualHost *:80>
        ServerAdmin [Mail Address]
        ServerName ok.teshi.net
        ErrorLog ${APACHE_LOG_DIR}/ok/error.log
        CustomLog ${APACHE_LOG_DIR}/ok/access.log combined

        WSGIDaemonProcess flask_app user=www-data group=www-data threads=5
        WSGIProcessGroup flask_app
        WSGIScriptAlias / /FLASK/flask_app/flask_app.wsgi
        <Directory /FLASK/flask_app>
            Order deny,allow
            Allow from all
            Require all granted
        </Directory>
        <Files /FLASK/flask_app/flask_app.wsgi>
            Order deny,allow
            Allow from all
            Require all granted
        </Files>
</VirtualHost>

위의 파일을 생성한 후,

sudo a2ensite ok.teshi.net

명령어를 사용하여 사이트를 VirtualHost에 추가한다. 그 후 Apache를 다시 불러온다.

sudo systemctl reload apache2

위와 같이 실행한 후 웹페이지를 열어 접속해본다.

[python] 웹 파싱, re 모듈 사용시 주의 사항

최근 웹 크롤링하는 프로그램을 취미삼아 짜고 있는데 특정 단어가 너무 거슬려서 제거 하기 위해서 re 라이브러리를 사용하고 있다.

사실 테스트 삼아 실행한 문자열은 잘 분리해주는데…

실제 적용하면 분리를 못해주는 증상이 있어서 한참보았더니… 유니코드 문제… 하아….

분리를 하려는 대상은 유니코드이고 검색하려는 값이 유니코드가 아니라서 발생한 문제 하아…

filter 값을 유니코드로 주면 해결된다. 혹시 몰라 기록.

Fail2Ban 재설정 기념 로그 살펴보기

Fail2Ban을 재설정하고 차단을 활성화 시킨 후 문득 궁금해졌다.

대략 하루에 몇번의 접속 시도가 있을 것인가에 대한 것이었다.

 

사실 이 블로그 조차 찾아오는 이가 너—–어무 적은데 들어와 봤자 얼마나 오겠어라는 생각에 조회를 해보았다.

 

그런데 생각보다 많다.

2017년 09월 21일 기준 : 로그인 시도 ( 단순 메시지 기준으로 ) 979회

왜? 도대체 여기에 뭐가 있다고?

그렇다면 시도한 IP 주소는 어떻게 될까?

2017년 09월 21일 기준 : 로그인 시도 IP 수는 27개

무려 27 곳에서 내 서버를 탐내고 있다.

 

 

…. 이해가 안된다. 물론 좀비로 쓰려고 하면 할 수 있겠지만 이거참…. 주기적으로 패스워드를 바꿔 주는게 좋을듯 하긴 하다.

 

아무튼 해당 데이터가 어떤지 보려고…. 파이썬을 조금 이용해 보았다.

 

파이썬 + freegeoip 라고 생각하면 좋을 듯 하다.

 

import json
import requests


if __name__ == '__main__':
    country_ip_dict = {}
    for line in open("cut", "r"):
        res = requests.get("http://freegeoip.net/json/" + line.strip()).text
        res_json = json.loads(res)
        if res_json['country_name'] not in country_ip_dict: c
            ountry_ip_dict[res_json['country_name']] = []
        country_ip_dict[res_json['country_name']].append(line.strip())

    key_list = country_ip_dict.keys()
    key_list.sort()

    for _key in key_list:
        print _key, ":", len(country_ip_dict[_key])
        for item in country_ip_dict[_key]:
            print "    -", item

 

그래서 목록을 만들어 보았더니…

 

Australia : 1
– 203.27.138.60
China : 7
– 117.78.34.221
– 123.183.209.135
– 123.59.199.40
– 124.93.247.99
– 182.61.21.98
– 218.28.238.162
– 58.30.96.138
Croatia : 2
– 5.188.10.179
– 5.188.10.182
France : 2
– 212.129.23.96
– 90.41.191.181
Indonesia : 1
– 103.71.255.27
Israel : 1
– 62.219.209.70
Italy : 1
– 212.237.11.114
Netherlands : 1
– 95.211.230.94
Poland : 1
– 62.21.48.119
Republic of Korea : 4
– 1.209.148.74
– 1.221.187.110
– 14.58.118.69
– 180.70.170.34
Russia : 1
– 185.110.132.49
Seychelles : 1
– 93.174.90.30
Singapore : 1
– 139.59.110.43
Sweden : 1
– 85.230.149.52
Ukraine : 1
– 193.201.224.236
United States : 1
– 74.208.169.251

역시 부동의 1위는 중국이다. 아… 진짜… 그리고 2위는 한국이다…

 

가끔은 진짜 궁금해진다. 도대체 무슨 용도로 내 서버에 그리 접속하려는 걸까? 단순히 경유지로 쓰려고? 흠… 뭐… 아무튼… 일하기 싫은 금요일 오후 약간의 삽질을 해보았다.

 

 

[python] psutil 라이브러리의 cpu_times()

쓸데없는 고민의 시작은 자원 모니터링을 구현하려고 하다가 갑자기, 문득, 쓸데없이 떠올랐다.

 

python psutil 라이브러리의 cpu_times() 함수의 결과 값은 /proc/stat 의 값과 동일한가?

 

… 참 쓸데 없다… 아무튼 검증을 해보니… 동일하다. 결국 psutil.cpu_times() 는 jiffy 값을 리턴한다.

python 멀티쓰레딩 환경에서 socket, select, makefile

이글을 쓰게 된 이유는 아래와 같다.

  • python 으로 짜여진 코드를 수정해서 사용해야 한다.
  • Multi Threading 환경으로 구성되어 있다.
  • 기존 코드를 최대한 유지하는 방향으로 작성한다.
  • 사용된 라이브러리는 socket, select 이며,
    makefile 로 socket을 file descriptor 로 변경하여 readline을 사용한다.

여기서 문제가 되었던 기능은

  1. [C] 사용자가 socket으로 특정 쓰레드 생성 명령어 수행
  2. [S] 쓰레드 생성 및 실행
  3. [C] 사용자 접속 종료

으로 심플한 기능이다. 단순히 쓰레드를 실행하는 것일 뿐인데 문제가 되는 부분은 3이었다. 분명 서버단에서 close를 호출하여 file descriptor 를 닫아주었고, socket도 따로 close 했음에도 불구하고 클라이언트는 끊어지지 않은 것으로 판단, 계속해서 동작하는 문제였다. ( 사실 동작은 아니다. 그저 끊어지지 않았을 뿐 )

그래서 구글링한 결과를 정리하자면 먼저 소켓을 shutdown 시키면 되다는 것을 알게 되었다.

sock.shutdown(socket.SHUT_WR)

위와 같이 써준 후 socket을 close 하면 정상 동작한다.