전체 글
django 시작~
Django 설치하기 · HonKit virtualenv를 생성하려면 콘솔 창을 열고, (이전 장에서 얘기했는데, 기억나죠?) 그리고 C:\Python35\python -m venv myvenv를 실행하세요. 아마도 화면에 이렇게 보일 거에요. : command-line C:\Users\Name\djangogirls> tutorial.djangogirls.org 보고 따라하는 중 history python venv 환경 구축 및 django 설치 929 apt-get install python3-venv 930 sudo killall apt apt-get 931 sudo rm /var/lib/apt/lists/lock 932 sudo rm /var/cache/apt/archives/lock 933 sud..
Python으로 단톡방 채팅 내용 키워드 분석하기
일정이 붕 떠서 심심하던 차에, 문득 친구들이랑 떠드는 단톡방이나 한 번 까보고 싶어졌다. 하려는 일의 순서는 다음과 같다. 단톡방 대화내용 확보 대화내용을 화자별로 구분하여 저장 각 문장에서 단어를 추출하여 사용 빈도가 높은 순서대로 정렬 일단 대화 내보내기를 통해 단톡방의 내용을 txt파일로 받아놓는다. 데이터가 어떻게 구성되어 있는지를 확인해야 원하는 부분을 추출할 수 있기 때문에 txt파일을 열어서 확인해본다. 데이터 맨 윗줄은 단톡방 이름, 인원, 저장된 날짜가 노출되어 있었다. 마지막 채팅 이후 새 채팅이 시작된 시점에 날짜가 지난 경우 {시간}만 노출된 데이터도 있었고, 쭉 흝어보니 대화 데이터는 {시간},{이름} : {내용} 으로 표현되어 있었다. 내가 필요로 하는 데이터는 오직 {이름},..
리눅스 크론탭(crontab) 명령어 모음
ps -ef|grep crond ps : 프로세스 목록 -e : 사용자에게 속한 프로세스뿐만 아니라 모든 프로세스 표시 -f : 프로세스를 전체 형식으로 표시 (기본값보다 자세한 내용 표시) grep : 일치하는 패턴의 결과 출력 crond(cron데몬 프로세스)의 이름을 가진 프로세스를 출력해달라는 의미. 즉, 실행중인 cron 프로세서 확인 명령어 crontab -l crontab에 등록된 리스트를 반환해준다. 없으면 없다고 나옴. (sudo) crontab -e 첫 실행시 에디터를 선택받으며 crontab 안의 내용을 편집해서 추가 가능(root 권한 필수) crontab -r 등록된 crontab 모두 삭제 (주의) crontab 등록 형식 1 2 3 4 5 실행할 명령어 1 = 분 (0~59 o..
뉴스룸 자동화 후속조치
기존에 구축했던 뉴스룸 자동화를 약 2주간 사용하면서 많은 문제가 있었다. 1. 크롤링 트리거를 PHP 코드에 넣다보니 호출시마다 불필요한 크롤링이 계속 실행되었다. 2. CPU 리소스 사용량, 네트워크 패킷량이 커서 AWS가 종종 멈추기도 하고 클라이언트 IP가 차단되기도 했다 ㅠㅠ 3. 기타 파이썬 코드를 PHP에서 실행하는 부분 때문에 온갖 문제가 많이 발생했다. 이 문제를 해결하기 위한 수정사항이 있었다. 1. 기존 Python 크롤링 결과를 print out 하고 PHP에서 받아오는 방식에서, txt파일에 담아 보관하는 부분으로 변경. 2. 결과값을 호출할 때 크롤링을 실행하는 방식에서, Crontab을 이용하여 매일 자동 실행 방식으로 변경. Sbs.php
각 사이트 뉴스 크롤링 with python + 뉴스룸 카톡 전송 자동화
이 글은 마크다운으로 작성되었습니다. 목차 뉴스룸이란 무엇인가 어떻게 자동화 하려고 했는가 어떻게 삽질했는가 어떻게 해결했는가 결과 1. 뉴스룸이란 무엇인가 📰 뉴스룸이란 무엇인가. 그것은 필자가 속해있는 오픈채팅방을 일컫는 말이다. 대충 이런 방 기본적으로 채팅방의 관리자가 매일 오전에 전날 혹은 당일의 IT뉴스, 시사뉴스, 각 신문사 헤드라인 등의 정보를 제공해주며 참가자들도 언제든 공유하고 싶은 뉴스를 올려 공유할 수 있다. 감사하게도 매일 뉴스를 올려주시는 기존 관리자님 덕분에 뉴스를 1분도 안 보는 내가 완전한 시사 무식쟁이가 되지 않을 수 있었으니 그 은혜가 참으로 크다 하겠다. 마침 기존 관리자분이 새 관리자를 구한다고 하셔서 그간의 은혜를 보은하고자 관리자를 이어받으려 하였으나, 아뿔싸! ..