![]()
웹 스크래핑을 할 때 일반적으로 많이 사용하는 언어는 아마 파이썬일 것이다.다른 언어에 비해 배우고 쉽고, 웹 스크래핑에 특화된 라이브러리들이 많기 때문일 것이다. 그러나 JavaScript에 익숙한 사람이라면 새로운 언어를 배우지 않고 node 환경에서 웹 스크래핑을 하는 것도 좋은 선택지라고 생각한다. https://blog.apify.com/web-scraping-javascript-vs-python/ Web scraping in JavaScript vs. PythonLearn how to choose the right tools for web scraping in 2024.blog.apify.comJavaScript is rightfully referred to as the language of ..
![]()
매주 약 18만 개의 숫자 조합을 생성하고 DB에 저장해야 하는 업무가 있다. Kotlin으로 짜인 앱에서 숫자 조합을 생성 요청을 보내면 서버에 있는 PHP 코드가 해당 로직을 확인한 뒤 숫자 조합을 생성하고 DB에 저장하게 된다. 하지만 요구사항에 실시간으로 스크래핑한 후 몇 가지 알고리즘 조건을 지켜야 했기에 18만 개의 조합을 모두 DB에 저장되기까지 약 4시간 정도의 긴 시간이 걸렸다. 앞으로 계속 사용해야 할 코드이기 때문에 Javascript로 컨버팅하기로 했다. 1. cheeriohttps://cheerio.js.org/docs/intro Welcome to Cheerio! | cheerioLet's get a quick overview of Cheerio in less than 5 mi..
![]()
개발에 입문할 때 처음 배웠던 프로그래밍 언어가 Javascript였기 때문에 백엔드 작업이 필요할 때 같은 문법을 사용하는 Node 환경을 사용해 왔다.그렇기에 Java, PHP, Ruby 같은 다른 언어를 공부하거나 볼 수 있는 기회가 없었다. 하지만 현재 회사에서는 PHP를 사용했기 때문에 Flow chart 확인 및 유지보수 그리고 추후 리펙터링과 Node.js로 컨버팅 하기 위해 느꼈던 점을 작성하고자 한다. 1. 호출 방식PHP const registerUser = () => { axios.post('http://localhost/register.php', registerInfo) .then(response => { console.log(response); ..
