ÄÜÅÙÃ÷»ó¼¼º¸±â

ÆÄÀ̽ãÀ¸·Î À¥ Å©·Ñ·¯ ¸¸µé±â (2ÆÇ)
ÆÄÀ̽ãÀ¸·Î À¥ Å©·Ñ·¯ ¸¸µé±â (2ÆÇ)
  • ÀúÀÚ<¶óÀ̾ð ¹Ìÿ> Àú/<ÇѼ±¿ë> ¿ª
  • ÃâÆÇ»çÇѺû¹Ìµð¾î
  • ÃâÆÇÀÏ2019-06-16
  • µî·ÏÀÏ2020-11-03
º¸À¯ 1, ´ëÃâ 0, ¿¹¾à 0, ´©Àû´ëÃâ 6, ´©Àû¿¹¾à 0

Ã¥¼Ò°³

À¥ ¾îµð¼­µç ³»°¡ ¿øÇϴ µ¥ÀÌÅ͸¦ ½ï½ï½ï

À¥¿¡ Á¸ÀçÇѴٸ頱װÍÀÌ ¾î¶² ÇüÅÂÀ̵砵¥ÀÌÅͷΠÃßÃâÇÒ ¼ö ÀÖ´Ù. ÇÊ¿äÇÑ ¹«±â´Â À̠å°ú ÆÄÀ̽ã»Ó. BeautifulSoup, ¼¿·¹´Ï¿ò, Å×¼­·¢Æ® µî °­·ÂÇÑ ÆÄÀ̽㠶óÀ̺귯¸® »ç¿ë¹ý°ú ÇÔ²² API, ÀÎÁõ, À̹ÌÁö ¹× ÅؽºÆ® ÀνÄ, ·Î±×ÀΠ󸮠µî À¥ Å©·Ñ¸µÀÇ ±âÃʺÎÅÍ °í±Þ ±â¹ý±îÁö Á¾ÇÕÀûÀ¸·Î ´Ù·ç´Â À¯ÀÏÇѠå. ½ÇÁ¦ ¾÷¹«¿Í »ýÈ°¿¡ Àû¿ëÇÒ ¼ö Àִ ¿¹Á¦°¡ °¡µæÇÏ´Ù. 2ÆÇÀº ¿¹Á¦¸¦ Ãß°¡ ¹× ¾÷µ¥ÀÌÆ®Çß°í ¸ð´ø À¥¿¡¼­ °ÅÀÇ ¸ðµç Á¾·ùÀÇ µ¥ÀÌÅ͸¦ °¡Á®¿À´Â ¹æ¹ýÀ» Æ÷°ýÀûÀ¸·Î ´Ù·é´Ù.

ÀúÀÚ¼Ò°³

À¥ Å©·Ñ¸µ, º¸¾È, µ¥ÀÌÅÍ °úÇп¡ °ü½ÉÀÌ ¸¹Àº °³¹ßÀÚ. ÇöÀ砱۷ιú Æݵå»ç ÇìÁö¼­ºê(HedgeServ)¿¡¼­ ½Ã´Ï¾î °³¹ßÀڷΠ±Ù¹«ÇÏ°í ÀÖ½À´Ï´Ù. ÇÁ·©Å¬¸° W. ¿Ã¸° °ø°ú´ëÇб³¸¦ Á¹¾÷Çß°í ÇϹöµå ´ëÇб³¿¡¼­ ¼ÒÇÁÆ®¿þ¾î ¿£Áö´Ï¾î¸µ ¼®»ç °úÁ¤À» ¹â¾Ò½À´Ï´Ù. ¾î¹ÙÀÎ(Abine)¿¡¼­ À¥ Å©·Ñ·¯¿Í º¿À» ¸¸µé¾ú°í, ¸µÅ©µå¶óÀ̺ê(LinkeDrive)¿¡¼­´Â API ¹× µ¥ÀÌÅÍ ºÐ¼® µµ±¸¸¦ ¸¸µé¾ú½À´Ï´Ù. ±ÝÀ¶¾÷ ¹× À¯Åë¾÷ ºÐ¾ß¿¡¼­ À¥ Å©·Ñ¸µ ÇÁ·ÎÁ§Æ® ÄÁ¼³ÆÃÀ» ÇÏ°í ÀÖ°í, ±³À°°ú °­¿¬ È°µ¿µµ È°¹ßÇÏ°Ô ÆîÄ¡°í ÀÖ½À´Ï´Ù. º»¼­ ¿Ü Àú¼­·Î ¡ºInstant Web Scraping with Java¡»(Packt, 2013)°¡ ÀÖ½À´Ï´Ù.

¸ñÂ÷

Part I ½ºÅ©·¹ÀÌÆÛ Á¦ÀÛ

CHAPTER 1 Ã¹ ¹ø° À¥ ½ºÅ©·¹ÀÌÆÛ
1.1 ¿¬°á
1.2 BeautifulSoup ¼Ò°³
__1.2.1 BeautifulSoup ¼³Ä¡
__1.2.2 BeautifulSoup ½ÇÇà
__1.2.3 ½Å·ÚÇÒ ¼ö Àִ ¿¬°á°ú ¿¹¿Ü Ã³¸®

CHAPTER 2 °í±Þ HTML ºÐ¼®
2.1 ´ß Àâ´Â µ¥ ¼Ò Àâ´Â Ä®À» ¾µ ÇÊ¿ä´Â ¾ø½À´Ï´Ù
2.2 ´Ù½Ã BeautifulSoup
__2.2.1 find()¿Í findAll()
__2.2.2 ´Ù¸¥ BeautifulSoup °´Ã¼
__2.2.3 Æ®¸® À̵¿
2.3 Á¤±Ô Ç¥Çö½Ä
2.4 Á¤±Ô Ç¥Çö½Ä°ú BeautifulSoup
2.5 ¼Ó¼º¿¡ Á¢±ÙÇϱâ
2.6 ¶÷´Ù Ç¥Çö½Ä

CHAPTER 3 Å©·Ñ¸µ ½ÃÀÛÇϱâ
3.1 ´ÜÀÏ µµ¸ÞÀΠ³»ÀÇ À̵¿
3.2 Àüü »çÀÌÆ® Å©·Ñ¸µ
__3.2.1 Àüü »çÀÌÆ®¿¡¼­ µ¥ÀÌÅÍ ¼öÁý
3.3 ÀÎÅͳݠũ·Ñ¸µ

CHAPTER 4 À¥ Å©·Ñ¸µ ¸ðµ¨
4.1 °´Ã¼ °èȹ ¹× Á¤ÀÇ
4.2 ´Ù¾çÇÑ À¥»çÀÌÆ® ·¹À̾ƿô ´Ù·ç±â
4.3 Å©·Ñ·¯ ±¸¼º
__4.3.1 °Ë»öÀ» ÅëÇÑ »çÀÌÆ® Å©·Ñ¸µ
__4.3.2 ¸µÅ©¸¦ ÅëÇÑ »çÀÌÆ® Å©·Ñ¸µ
__4.3.3 ¿©·¯ ÆäÀÌÁö À¯Çü Å©·Ñ¸µ
4.4 À¥ Å©·Ñ·¯ ¸ðµ¨¿¡ ´ëÇÑ »ý°¢

CHAPTER 5 ½ºÅ©·¹ÀÌÇÇ 
5.1 ½ºÅ©·¹ÀÌÇÇ ¼³Ä¡
__5.1.1 »õ ½ºÆÄÀÌ´õ ÃʱâÈ­
5.2 °£´ÜÇÑ ½ºÅ©·¹ÀÌÆÛ ÀÛ¼ºÇϱâ
5.3 ±ÔÄ¢¿¡ ÀÇÇÑ ½ºÆÄÀÌ´õ¸µ
5.4 Ç׸ñ ¸¸µé±â
5.5 Ç׸ñ Ãâ·ÂÇϱâ
5.6 ÆÄÀÌÇÁ¶óÀÎ
5.7 ½ºÅ©·¹ÀÌÇÇ ·Î±ë
5.8 ´õ ÀÐÀ» °Å¸®

CHAPTER 6 µ¥ÀÌÅÍ ÀúÀå
6.1 ¹Ìµð¾î ÆÄÀÏ
6.2 µ¥ÀÌÅ͸¦ CSV·Î ÀúÀå
6.3 MySQL
__6.3.1 MySQL ¼³Ä¡
__6.3.2 ±âº» ¸í·É¾î
__6.3.3 ÆÄÀ̽ã°ú ÅëÇÕ
__6.3.4 µ¥ÀÌÅͺ£À̽º Å×Å©´Ð°ú ¸ð¹ü »ç·Ê
__6.3.5 ¿©¼¸ ´Ù¸®¿Í MySQL
6.4 À̸ÞÀÏ

Part II °í±Þ ½ºÅ©·¹ÀÌÇÎ

CHAPTER 7 ¹®¼­ Àбâ
7.1 ¹®¼­ ÀÎÄÚµù
7.2 ÅؽºÆ®
__7.2.1 ÅؽºÆ® ÀÎÄÚµù°ú ÀÎÅͳÝ
7.3 CSV
__7.3.1 CSV ÆÄÀÏ Àбâ
7.4 PDF
7.5 ¸¶ÀÌÅ©·Î¼ÒÇÁÆ® ¿öµå¿Í .docx

CHAPTER 8 ÁöÀúºÐÇÑ µ¥ÀÌÅÍ Á¤¸®Çϱâ
8.1 Äڵ忡¼­ Á¤¸® 
8.2 »çÈÄ Á¤¸®
__8.2.1 ¿ÀǸ®ÆÄÀÎ

CHAPTER 9 ÀÚ¿¬¾î ÀÐ°í ¾²±â
9.1 µ¥ÀÌÅÍ ¿ä¾à
9.2 ¸¶¸£ÄÚÇÁ ¸ðµ¨
__9.2.1 À§Å°¹é°úÀÇ ¿©¼¸ ´Ù¸®: °á·Ð
9.3 ÀÚ¿¬¾î ÅøŶ
__9.3.1 ¼³Ä¡
__9.3.2 NLTK¸¦ »ç¿ëÇÑ Åë°èÀû ºÐ¼®
__9.3.3 NLTK¸¦ »ç¿ëÇÑ »çÀüÀû ºÐ¼®
9.4 Ãß°¡ ÀÚ·á

CHAPTER 10 Æû°ú ·Î±×ÀΠ¶Õ±â
10.1 ÆÄÀ̽ã requests ¶óÀ̺귯¸®
10.2 ±âº»ÀûÀΠÆû Àü¼Û
10.3 ¶óµð¿À ¹öÆ°, Ã¼Å©¹Ú½º, ±âŸ Çʵå
10.4 ÆÄÀÏ°ú À̹ÌÁö Àü¼Û
10.5 ·Î±×Àΰú ÄíÅ° Ã³¸®
__10.5.1 HTTP ±âº» Á¢±Ù ÀÎÁõ
10.6 ±âŸ Æû ¹®Á¦

CHAPTER 11 ÀÚ¹Ù½ºÅ©¸³Æ® ½ºÅ©·¹ÀÌÇÎ
__11.1.1 ³Î¸® ¾²À̴ ÀÚ¹Ù½ºÅ©¸³Æ® ¶óÀ̺귯¸®
11.2 Ajax¿Í DHTML
__11.2.1 ¼¿·¹´Ï¿òÀ¸·Î ÆÄÀ̽㿡¼­ ÀÚ¹Ù½ºÅ©¸³Æ® ½ÇÇà
__11.2.2 ±× ¹ÛÀÇ ¼¿·¹´Ï¿ò À¥µå¶óÀ̹ö
11.3 ¸®´ÙÀÌ·ºÆ® Ã³¸®
11.4 ÀÚ¹Ù½ºÅ©¸³Æ®¿¡ ´ëÇÑ ¸¶Áö¸· ³ëÆ®

CHAPTER 12 API¸¦ ÅëÇÑ Å©·Ñ¸µ
12.1 API¿¡ ´ëÇÑ °£´ÜÇÑ ¼Ò°³
__12.1.1 HTTP ¸Þ¼­µå¿Í API
__12.1.2 API ÀÀ´ä¿¡ ´ëÇØ
12.2 JSON ÆĽÌ
12.3 ¹®¼­È­µÇÁö ¾ÊÀº API
__12.3.1 ¹®¼­È­µÇÁö ¾ÊÀº API Ã£±â
__12.3.2 ¹®¼­È­µÇÁö ¾ÊÀº API ¹®¼­È­Çϱâ
__12.3.3 API ÀÚµ¿À¸·Î Ã£°í ¹®¼­È­Çϱâ
12.4 API¿Í ´Ù¸¥ µ¥ÀÌÅÍ ¼Ò½ºÀÇ °áÇÕ
12.5 ¸¶Ä¡¸ç

CHAPTER 13 À̹ÌÁö Ã³¸®¿Í ÅؽºÆ® ÀνÄ
13.1 ¶óÀ̺귯¸® °³°ü
__13.1.1 ÇÊ·Î
__13.1.2 Å×¼­·¢Æ®
__13.1.3 ÆÄÀÌÅ×¼­·¢Æ®
__13.1.4 ³ÑÆÄÀÌ
13.2 Çü½ÄÀÌ ÀÏÁ¤ÇÑ ÅؽºÆ® Ã³¸®
__13.2.1 À̹ÌÁö ÀÚµ¿ Á¶Á¤
__13.2.2 À¥»çÀÌÆ® À̹ÌÁö¿¡¼­ ÅؽºÆ® ½ºÅ©·¹ÀÌÇÎÇϱâ
13.3 CAPTCHA Àбâ¿Í Å×¼­·¢Æ® ÈÆ·Ã
__13.3.1 Å×¼­·¢Æ® ÈÆ·Ã
13.4 CAPTCHA °¡Á®¿À±â¿Í ´ä º¸³»±â 

CHAPTER 14 ½ºÅ©·¹ÀÌÇΠÇÔÁ¤ ÇÇÇϱâ
14.1 ½ºÅ©·¹ÀÌÇÎÀÇ À±¸®¿¡ °üÇØ
14.2 »ç¶÷ó·³ º¸À̱â
__14.2.1 Çì´õ¸¦ ¼öÁ¤ÇϽʽÿÀ
__14.2.2 ÄíÅ° Ã³¸®
__14.2.3 Å¸À̹ÖÀÌ °¡Àå Áß¿äÇÕ´Ï´Ù
14.3 ³Î¸® ¾²À̴ Æû º¸¾È ±â´É
__14.3.1 ¼û±ä Çʵ堰ª
__14.3.2 Çã´ÏÆÌ ÇÇÇϱâ
14.4 »ç¶÷ó·³ º¸À̱â À§ÇѠüũ¸®½ºÆ®

CHAPTER 15 ½ºÅ©·¹ÀÌÆ۷ΠÀ¥»çÀÌÆ® Å×½ºÆ®Çϱâ
15.1 Å×½ºÆ® ÀÔ¹® 
__15.1.1 ´ÜÀ§ Å×½ºÆ®¶õ?
15.2 ÆÄÀ̽ã unittest
__15.2.1 À§Å°¹é°ú Å×½ºÆ®
15.3 ¼¿·¹´Ï¿òÀ» »ç¿ëÇÑ Å×½ºÆ®
__15.3.1 »çÀÌÆ® Á¶ÀÛ
15.4 unittest vs ¼¿·¹´Ï¿ò

CHAPTER 16 º´·Ä À¥ Å©·Ñ¸µ
16.1 ÇÁ·Î¼¼½º vs. ½º·¹µå
16.2 ¸ÖƼ½º·¹µå Å©·Ñ¸µ
__16.2.1 °æÀï »óÅ¿͠ť
__16.2.2 threading ¸ðµâ
16.3 ¸ÖƼÇÁ·Î¼¼½º Å©·Ñ¸µ
__16.3.1 ¸ÖƼÇÁ·Î¼¼½º Å©·Ñ¸µ
__16.3.2 ÇÁ·Î¼¼½º °£ Åë½Å
16.4 ¸ÖƼÇÁ·Î¼¼½º Å©·Ñ¸µÀÇ ´Ù¸¥ Á¢±Ù¹ý

CHAPTER 17 ¿ø°Ý ½ºÅ©·¹ÀÌÇÎ
17.1 ¿ø°Ý ¼­¹ö¸¦ ¾²´Â ÀÌÀ¯
__17.1.1 IP ÁÖ¼Ò Â÷´Ü ¹æÁö
__17.1.2 À̵¿¼º°ú È®À强
17.2 Åä¾î
__17.2.1 ÆÄÀ̻轺
17.3 ¿ø°Ý È£½ºÆà
__17.3.1 À¥»çÀÌÆ® È£½ºÆà°èÁ¤¿¡¼­ ½ÇÇà
__17.3.2 Å¬¶ó¿ìµå¿¡¼­ ½ÇÇà
17.4 Ãß°¡ ÀÚ·á

CHAPTER 18 À¥ ½ºÅ©·¹ÀÌÇÎÀÇ ÇÕ¹ý¼º°ú À±¸®
18.1 »óÇ¥? ÀúÀÛ±Ç? Æ¯Çã?
__18.1.1 ÀúÀ۱ǹý
18.2 µ¿»ê Ä§ÇØ
18.3 ÄÄÇ»ÅÍ »ç±â¿Í ¾Ç¿ë¿¡ °üÇÑ ¹ý·ü
18.4 robots.txt¿Í ÀÌ¿ë ¾à°ü
18.5 ¼¼ °¡Áö À¥ ½ºÅ©·¹ÀÌÆÛ »ç·Ê
__18.5.1 À̺£ÀÌ vs. ºñ´õ½º ¿¡Áö: µ¿»ê Ä§ÇØ
__18.5.2 ¹Ì±¹ vs. ¿À¾ðÇÏÀ̸Ó: ÄÄÇ»ÅÍ »ç±â¿Í ¾Ç¿ë¿¡ °üÇÑ ¹ý·ü
__18.5.3 Çʵå vs. ±¸±Û: ÀúÀ۱ǰú robots.txt
18.6 ¹Ì·¡¸¦ ÇâÇØ