package controllers_scraper import ( "encoding/json" "fmt" "kkscrap-go/controllers/scraper/cafe24" "kkscrap-go/controllers/scraper/godo" "kkscrap-go/controllers/scraper/magento" "kkscrap-go/controllers/scraper/shopify" "kkscrap-go/locals" "kkscrap-go/controllers/scraper/wordpress" "kkscrap-go/controllers/scraper/young" "kkscrap-go/model" "net/http" "net/url" "regexp" "strings" util "kkscrap-go/controllers/scraper/util" // "golang.org/x/crypto/bcrypt" "github.com/labstack/echo" ) type SolutionTypeGetReq struct { Url string } func SolutionTypeGet(c echo.Context) error { v := c.Get("receiver").(SolutionTypeGetReq) retv := &struct { SolutionType string ThemeType string }{} fmt.Println(v.Url) // (1) function 공유될 수 있도록 해서 작업요 // v.SolutionType, v.ThemeType = solType(&kkk) retv.SolutionType = "Wordpress" retv.ThemeType = "Avada" // ret, _ := json.MarshalIndent(itemInfo, "", "\t") ret, _ := json.Marshal(retv) return c.JSONBlob(http.StatusOK, ret) } type ProductPageGetReq struct { SolutionType string ThemeType string Products []ProductUri } type ProductUri struct { Uri string } // 오리지널 웹사이트 전체를 업테이트 하는 경우 Uri를 하나씩 보내면 비효율적이므로 하나의 배치로 // 묶어서 요청할 수 있도록 한다. 주로 product-page-get를 쓰고 item-url-scrap은 deprecate 예정임. func ProductPageGet(c echo.Context) error { v := c.Get("receiver").(ProductPageGetReq) var vRet locals.ProductPage // Row(개별레코드)->Page(Row의 집합)->Book(Page의 집합)의 개념 for _, row := range v.Products { // (1)Url 의 HTML를 2번 가져오는데 아래와 같이 1번만 가져와서 처리할 수 있도록 수정요. // kkk := htmlGet(row.Uri) // 전체 웹사이트가 아니라 개별 상품페이지(1개페이지)의 경우 SolutionType 없이 request됨 if v.SolutionType == "" { // v.SolutionType, v.ThemeType = solType(&kkk) } prodInfo, err := parse(row.Uri) if err != nil { prodInfo.ItemNick = "Parsing Failed" } // 개별 prodInfo가 계속 추가될 수 있도록 코드를 변경요. // vRet.ProductPage = append(vRet.ProductPage, *prodInfo) } // ret, _ := json.MarshalIndent(itemInfo, "", "\t") ret, _ := json.Marshal(vRet) return c.JSONBlob(http.StatusOK, ret) } type ItemUrlScrapReq struct { ItemUrl string } func ItemUrlScrap(c echo.Context) error { v := c.Get("receiver").(ItemUrlScrapReq) // retv := &struct { // model.ItemInfo // }{} itemInfo, err := parse(v.ItemUrl) if err != nil { return c.String(604, "ertvwerawqfd-ItemUrl Parse failed: "+err.Error()) } ret, _ := json.MarshalIndent(itemInfo, "", "\t") // fmt.Println(string(data)) // ret, _ := json.Marshal(itemInfo) return c.JSONBlob(http.StatusOK, ret) } var regexpTitle *regexp.Regexp func init() { regexpTitle, _ = regexp.Compile("(.*)") } func getTitle(body string) string { ss := regexpTitle.FindAllStringSubmatch(body, 1) if len(ss) == 1 { return ss[0][1] } return "" } func parse(uri string) (ret model.ItemInfo, err error) { t, err := getSolutionType(uri) if err != nil { return } ret = parseSolution(t, uri) return } func parseSolution(t model.SolutionType, uri string) (ret model.ItemInfo) { ret.SolutionName = t u, err := url.Parse(uri) if err != nil { return } ret.DomainName = u.Host ret.DomainURI = uri if t == model.SolutionTypeWooCommerce { wordpress.Parse(uri, &ret) } else if t == model.SolutionTypeShopify { shopify.Parse(uri, &ret) } else if t == model.SolutionTypeMagento { magento.Parse(uri, &ret) } else if t == model.SolutionTypeCafe24 { cafe24.Parse(uri, &ret) } else if t == model.SolutionTypeGodo { godo.Parse(uri, &ret) } else if t == model.SolutionTypeYoung { young.Parse(uri, &ret) } else if t == model.SolutionTypeOthers { magento.Parse(uri, &ret) } return } func getSolutionType(url string) (t model.SolutionType, reterr error) { body, err := util.Get(url) if err != nil { reterr = err return } if strings.Contains(body, "window.CAFE24") { t = model.SolutionTypeCafe24 } else if strings.Contains(body, "woocommerce-page") { t = model.SolutionTypeWooCommerce } else if strings.Contains(body, "고도몰5") { t = model.SolutionTypeGodo } else if strings.Contains(body, "cdn.shopify.com") { t = model.SolutionTypeShopify } else if strings.Contains(body, "magento") { t = model.SolutionTypeMagento } else if strings.Contains(body, "it_id=") { t = model.SolutionTypeYoung } else { t = model.SolutionTypeOthers //reterr = errors.New("no found solution type") } //ioutil.WriteFile(string(t) + ".html", []byte(body), 644) return }