크롤링 프로그램 개발
개발기간 : 2시간
개발언어 : C#
작업내용 :
스토어의 어플 목록을 호출한 뒤 mshtml 라이브러리를 활용하여 웹페이지를 크롤링하고
목록을 다 읽으면 HttpWebRequest 로 다음 목록을 호출해서
스토어에 등록된 앱의 필요한 정보를 획득하는 프로그램 입니다.
프로그램이 실행되면 바로 검색을 시작합니다.
위 이미지의 스토어를 호출하는데 아래로 스크롤을 해야만 다음 어플 목록을 불러오는 구조로 되어있습니다
그래서 추가목록을 호출할 때 네트워크를 체크해보니 특정 값으로 URL 호출이 일어나고 있어서 아래와 같이 목록 불러오기 함수를 구현하였습니다.
호출된 목록에서 어플데이터를 가져오고 더이상 호출이 안될때까지 반복하여
앱아이디, 회사명, 이메일 정보를 프로그램 화면에 추가해줍니다.
작업이 완료되면 엑셀파일로도 저장할 수 있게 하였습니다.
한번 실행하면 내부에서 처리가 다 진행되는걸로 원하여서 별다른 기능없이 간단한 프로그램으로 개발하였습니다.
* 2년전쯤 만든건데 오늘날짜로 확인해보니 스토어의 내부 코드가 다 변경되어서 읽을수가 없네요.
이외에도 지정된 양식의 엑셀파일을 이용해서 항공사 사이트에 자동로그인, 예약번호 생성, 탑승자명단 등록, 발권처리 등의 작업을 할수 있는 프로그램도 개발하였습니다. ( 대한항공, 티웨이, 진에어 )
다만 회사에서 사용중인거라 따로 블로그에 작성하지는 않았으나 기능은 훨씬 다양합니다.
(실행 중 오류가 나면 해당 작업부터 재실행, 일시 중지 후 엑셀출력, 엑셀파일에 오류가있는지 사전검증 등)