분류 전체보기(189)
-
뉴스룸 자동화 후속조치
기존에 구축했던 뉴스룸 자동화를 약 2주간 사용하면서 많은 문제가 있었다. 1. 크롤링 트리거를 PHP 코드에 넣다보니 호출시마다 불필요한 크롤링이 계속 실행되었다. 2. CPU 리소스 사용량, 네트워크 패킷량이 커서 AWS가 종종 멈추기도 하고 클라이언트 IP가 차단되기도 했다 ㅠㅠ 3. 기타 파이썬 코드를 PHP에서 실행하는 부분 때문에 온갖 문제가 많이 발생했다. 이 문제를 해결하기 위한 수정사항이 있었다. 1. 기존 Python 크롤링 결과를 print out 하고 PHP에서 받아오는 방식에서, txt파일에 담아 보관하는 부분으로 변경. 2. 결과값을 호출할 때 크롤링을 실행하는 방식에서, Crontab을 이용하여 매일 자동 실행 방식으로 변경. Sbs.php
2020.06.25 -
각 사이트 뉴스 크롤링 with python + 뉴스룸 카톡 전송 자동화
이 글은 마크다운으로 작성되었습니다. 목차 뉴스룸이란 무엇인가 어떻게 자동화 하려고 했는가 어떻게 삽질했는가 어떻게 해결했는가 결과 1. 뉴스룸이란 무엇인가 📰 뉴스룸이란 무엇인가. 그것은 필자가 속해있는 오픈채팅방을 일컫는 말이다. 대충 이런 방 기본적으로 채팅방의 관리자가 매일 오전에 전날 혹은 당일의 IT뉴스, 시사뉴스, 각 신문사 헤드라인 등의 정보를 제공해주며 참가자들도 언제든 공유하고 싶은 뉴스를 올려 공유할 수 있다. 감사하게도 매일 뉴스를 올려주시는 기존 관리자님 덕분에 뉴스를 1분도 안 보는 내가 완전한 시사 무식쟁이가 되지 않을 수 있었으니 그 은혜가 참으로 크다 하겠다. 마침 기존 관리자분이 새 관리자를 구한다고 하셔서 그간의 은혜를 보은하고자 관리자를 이어받으려 하였으나, 아뿔싸! ..
2020.06.09 -
글을 쓴다는 것은
공개된 장소에 누구나 볼 수 있게 적는다는 것은 아무리 생각해도 꽤나 부끄러운 일이다. 내가 하는 말이 공허하게 울리는 메아리가 되지 않기를 바라면서도, 동시에 타인의 잣대에 가늠되는 것이 떨리기도 한다. 앞으로 초심을 잃지 않고 내 계획과 목표를 지켜 나갈 수 있기를 바란다.
2019.07.10