분류 전체보기(187)
-
Ubuntu 20.04 LTS 홈 서버 구축기 (1)
나는 노트북을 2019년 i5그램 15인치를 사용하고 있는데, 이 녀석은 가볍고 성능도 어지간히 괜찮은 모델이다. 다만 한 가지 아쉬운 점이 있다면 램 업그레이드는 16g로 했지만 SSD를 256g로 다는 바람에 고질적인 용량 부족에 시달리고 있다. VM 설치하고 스냅샷 몇 번 찍으니 - 70G 언리얼 하면서(잘 돌아가지도 않지만) 엔진 설치하니 - 40G 기타 잡다한 것들 .... - 100G 정신을 차리고 보니 SSD 용량이 거덜 났다. 문제 해결을 위해 m.2 SSD 1TB를 사서 달아야겠다는 생각으로 주문했는데 집에 온 것은 2.5인치 데스크탑용 SSD였다. 분명히 두 번 세 번 확인했다고 생각했는데, 주문 당시에 뭔가 혼이 빠져있었나 보다. 아무튼 갑자기 생겨버린 이 SSD를 당근마켓에서 처분할..
2020.07.22 -
django 시작~
Django 설치하기 · HonKit virtualenv를 생성하려면 콘솔 창을 열고, (이전 장에서 얘기했는데, 기억나죠?) 그리고 C:\Python35\python -m venv myvenv를 실행하세요. 아마도 화면에 이렇게 보일 거에요. : command-line C:\Users\Name\djangogirls> tutorial.djangogirls.org 보고 따라하는 중 history python venv 환경 구축 및 django 설치 929 apt-get install python3-venv 930 sudo killall apt apt-get 931 sudo rm /var/lib/apt/lists/lock 932 sudo rm /var/cache/apt/archives/lock 933 sud..
2020.07.11 -
Python으로 단톡방 채팅 내용 키워드 분석하기
일정이 붕 떠서 심심하던 차에, 문득 친구들이랑 떠드는 단톡방이나 한 번 까보고 싶어졌다. 하려는 일의 순서는 다음과 같다. 단톡방 대화내용 확보 대화내용을 화자별로 구분하여 저장 각 문장에서 단어를 추출하여 사용 빈도가 높은 순서대로 정렬 일단 대화 내보내기를 통해 단톡방의 내용을 txt파일로 받아놓는다. 데이터가 어떻게 구성되어 있는지를 확인해야 원하는 부분을 추출할 수 있기 때문에 txt파일을 열어서 확인해본다. 데이터 맨 윗줄은 단톡방 이름, 인원, 저장된 날짜가 노출되어 있었다. 마지막 채팅 이후 새 채팅이 시작된 시점에 날짜가 지난 경우 {시간}만 노출된 데이터도 있었고, 쭉 흝어보니 대화 데이터는 {시간},{이름} : {내용} 으로 표현되어 있었다. 내가 필요로 하는 데이터는 오직 {이름},..
2020.06.28 -
리눅스 크론탭(crontab) 명령어 모음
ps -ef|grep crond ps : 프로세스 목록 -e : 사용자에게 속한 프로세스뿐만 아니라 모든 프로세스 표시 -f : 프로세스를 전체 형식으로 표시 (기본값보다 자세한 내용 표시) grep : 일치하는 패턴의 결과 출력 crond(cron데몬 프로세스)의 이름을 가진 프로세스를 출력해달라는 의미. 즉, 실행중인 cron 프로세서 확인 명령어 crontab -l crontab에 등록된 리스트를 반환해준다. 없으면 없다고 나옴. (sudo) crontab -e 첫 실행시 에디터를 선택받으며 crontab 안의 내용을 편집해서 추가 가능(root 권한 필수) crontab -r 등록된 crontab 모두 삭제 (주의) crontab 등록 형식 1 2 3 4 5 실행할 명령어 1 = 분 (0~59 o..
2020.06.25 -
뉴스룸 자동화 후속조치
기존에 구축했던 뉴스룸 자동화를 약 2주간 사용하면서 많은 문제가 있었다. 1. 크롤링 트리거를 PHP 코드에 넣다보니 호출시마다 불필요한 크롤링이 계속 실행되었다. 2. CPU 리소스 사용량, 네트워크 패킷량이 커서 AWS가 종종 멈추기도 하고 클라이언트 IP가 차단되기도 했다 ㅠㅠ 3. 기타 파이썬 코드를 PHP에서 실행하는 부분 때문에 온갖 문제가 많이 발생했다. 이 문제를 해결하기 위한 수정사항이 있었다. 1. 기존 Python 크롤링 결과를 print out 하고 PHP에서 받아오는 방식에서, txt파일에 담아 보관하는 부분으로 변경. 2. 결과값을 호출할 때 크롤링을 실행하는 방식에서, Crontab을 이용하여 매일 자동 실행 방식으로 변경. Sbs.php
2020.06.25 -
각 사이트 뉴스 크롤링 with python + 뉴스룸 카톡 전송 자동화
이 글은 마크다운으로 작성되었습니다. 목차 뉴스룸이란 무엇인가 어떻게 자동화 하려고 했는가 어떻게 삽질했는가 어떻게 해결했는가 결과 1. 뉴스룸이란 무엇인가 📰 뉴스룸이란 무엇인가. 그것은 필자가 속해있는 오픈채팅방을 일컫는 말이다. 대충 이런 방 기본적으로 채팅방의 관리자가 매일 오전에 전날 혹은 당일의 IT뉴스, 시사뉴스, 각 신문사 헤드라인 등의 정보를 제공해주며 참가자들도 언제든 공유하고 싶은 뉴스를 올려 공유할 수 있다. 감사하게도 매일 뉴스를 올려주시는 기존 관리자님 덕분에 뉴스를 1분도 안 보는 내가 완전한 시사 무식쟁이가 되지 않을 수 있었으니 그 은혜가 참으로 크다 하겠다. 마침 기존 관리자분이 새 관리자를 구한다고 하셔서 그간의 은혜를 보은하고자 관리자를 이어받으려 하였으나, 아뿔싸! ..
2020.06.09