import http.client
conn = http.client.HTTPConnection("lectureswww.readthedocs.org")
conn.request("GET", "/ru/latest/")
r1 = conn.getresponse()
print(r1.status)

data1 = r1.read()
conn.request("GET", "/parrot.spam")
r2 = conn.getresponse()
print(r2.status)

data2 = r2.read()
conn.close()

import http.client
import urllib.parse

params = urllib.parse.urlencode(
    {'@number': 12524, '@type': 'issue', '@action': 'show'}
)
headers = {"Content-type": "application/x-www-form-urlencoded",
           "Accept": "text/plain"}
conn = http.client.HTTPConnection("bugs.python.org")
conn.request("POST", "", params, headers)
response = conn.getresponse()
print(response.status, response.reason)

data = response.read()
print(data)

conn.close()

import urllib.request
doc = urllib.request.urlopen("http://lectureswww.readthedocs.org")
print(doc.read()[:350])

import urllib.request
doc = urllib.request.urlopen("http://lectureswww.readthedocs.org")
print(doc.info())

Server: nginx/1.4.6 (Ubuntu)
X-Deity: chimera-lts
Vary: Accept-Encoding
X-Served: Nginx
Content-Type: text/html
Date: Thu, 05 Feb 2015 13:30:41 GMT
Accept-Ranges: bytes
ETag: "54c74bc0-62a2"
Connection: close
X-Subdomain-TryFiles: True
Last-Modified: Tue, 27 Jan 2015 08:26:40 GMT
Content-Length: 25250

import urllib.request
import urllib.parse

data = {"s": "Веб программирование"}
enc_data = urllib.parse.urlencode(data)

# GET запрос
f = urllib.request.urlopen("http://nigma.ru/" + "?" + enc_data)
print(f.read())

# POST запрос
f = urllib.request.urlopen("http://nigma.ru/", enc_data.encode('utf-8'))
print(f.read())

import urllib.parse
data = [("n", "1"), ("n", "3"), ("n", "4"), ("button", "Привет"), ]
enc_data = urllib.parse.urlencode(data)
print(enc_data)

proxies = {'http': 'http://www.proxy.com:3128'}
# Использовать указанный прокси
proxy = urllib.request.ProxyHandler(proxies)
opener = urllib.request.build_opener(proxy)
urllib.request.install_opener(opener)
# make a request
urllib.request.urlretrieve('http://www.google.com')

import urllib.request
import ssl

import certifi


context = ssl.SSLContext(ssl.PROTOCOL_TLSv1)
context.verify_mode = ssl.CERT_REQUIRED
context.load_verify_locations(certifi.where())
httpsHandler = urllib.request.HTTPSHandler(context = context)

manager = urllib.request.HTTPPasswordMgrWithDefaultRealm()
manager.add_password(None, 'https://api.github.com', 'username', 'password')
authHandler = urllib.request.HTTPBasicAuthHandler(manager)

opener = urllib.request.build_opener(httpsHandler, authHandler)

# Used globally for all urllib.request requests.
# If it doesn't fit your design, use opener directly.
urllib.request.install_opener(opener)

response = urllib.request.urlopen('https://api.github.com')
print(response.getcode())
print(response.headers.getheader('content-type'))

# ------
# 200
# 'application/json'

import requests

r = requests.get('https://api.github.com', auth=('user', 'pass'))

print(r.status_code)
print(r.headers['content-type'])

# ------
# 200
# 'application/json'

import requests

s = requests.Session()

s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get("http://httpbin.org/cookies")

print(r.text)
# {"cookies": {"sessioncookie": "123456789"}}

print(s.cookies.get_dict())
# {'sessioncookie': '123456789'}

r = s.get("http://httpbin.org/cookies")
print(r.text)
# {"cookies": {"sessioncookie": "123456789"}}

import requests
from lxml import html

response = requests.get('http://ya.ru')

# Преобразование тела документа в дерево элементов (DOM)
parsed_body = html.fromstring(response.text)

# Выполнение xpath в дереве элементов
print(parsed_body.xpath('//title/text()')[0])  # Получить title страницы
print(parsed_body.xpath('//a/@href'))          # Получить аттрибут href для всех ссылок

# standard library
import sys
from pathlib import Path
from urllib.parse import urljoin

# third-party
import requests
from lxml import html

response = requests.get('http://imgur.com/')
parsed_body = html.fromstring(response.text)

# Парсим ссылки с картинками при помощи XPath
images = parsed_body.xpath('//img/@src')
if not images:
    sys.exit("images Not Found")

# Конвертирование всех относительных ссылок в абсолютные
images = [
    urljoin(response.url, url)
    for url in images
]
print('Found {} images'.format(len(images)))

# Скачиваем только первые 10
for url in images[0:10]:
    r = requests.get(url)
    target = Path(
        'downloaded_images/{}'.format(
            url.split('/')[-1]  # file name from URL
        )
    )
    target.write_bytes(r.content)

# standard library
from io import StringIO

# third-party
import requests
from lxml import html

r = requests.get('http://ru.arf.ru/')

print(r.encoding)     # Кодировка по умолчанию ISO-8859-1
r.encoding = 'cp1251' # Указываем настоящюю кодировку документа

# Формируем дерево элементов
root = html.parse(
    StringIO(r.text)
).getroot()

# Выбираем ссылки внутри тегов <td> выровненных по центру
links = root.cssselect('td[align=CENTER] > a')

for item in links:
    print(
        item.get('href')  # печатаем значение атрибута href
    )

print()

# Выбираем все изображения
images = root.cssselect('img')
for item in images:
    print(
        item.get('src'),     # печатаем значение атрибута src
        html.tostring(item)  # и сам элемент
    )

# standard library
from io import StringIO

# third-party
import requests
from lxml import html, etree

r = requests.get('http://infocity.kiev.ua/section51.php')
print(r.encoding)  # ISO-8859-1
r.encoding = 'cp1251'

root = html.parse(
    StringIO(r.text)
).getroot()

# Выбираем нужную таблицу через смежные селекторы и записи этой таблицы начиная
# с 4 строки
rows = root.cssselect('table ~ form ~ table ~ table tr + tr + tr + tr')

item = rows[0]

# Печатаем первый элемент результата поиска
print(
    html.tostring(
        item,
        encoding='unicode'
    )
)
print()

'''
<tr>
    <td>Использование комбинаторных функций в модуле itertools</td>
    <td>Дэвид Мертц</td>
<!--    <td>0kb</td> -->
    <td>12.11.2004</td>

    <td align="center" valign="middle">
        <table cellpadding="0" cellspacing="0" style="margin:0px">
        <tr>
            <td valign="middle">
                <a href="prog/python/content/python020.phtml" target="_top"><img src="images/open.gif" border="0" width="17" height="17"></a>
            </td>
            <td valign="middle">
                <a href="prog/python/content/python020.phtml" target="_blank"><img src="images/nopen.gif" border="0" width="17" height="17"></a>
            </td>
        </tr>
        </table>
    </td>
    </tr>
'''

# Печатаем только текст
print(item.text_content().strip())
print()

'''
Использование комбинаторных функций в модуле itertools
    Дэвид Мертц

    12.11.2004
'''

from lxml.html.clean import Cleaner
cleaner = Cleaner(
    scripts=True,       # Удаляет все js скрипты <script>
    comments=True,      # Удаляет все комментарии
    allow_tags=['br', 'td', 'tr', 'img'],  # Список тэгов которые не нужно удалять
    remove_unknown_tags=False
)
print(
    cleaner.clean_html(  # применяем фильтр
        html.tostring(
            item,
            encoding='unicode'
        )
    )
)
print()

'''
<tr>
    <td>Использование комбинаторных функций в модуле itertools</td>
    <td>Дэвид Мертц</td>

    <td>12.11.2004</td>

    <td align="center" valign="middle">

        <tr>
            <td valign="middle">
                <img src="images/open.gif" border="0" width="17" height="17">
            </td>
            <td valign="middle">
                <img src="images/nopen.gif" border="0" width="17" height="17">
            </td>
        </tr>

    </td>
    </tr>
'''

# Ищем элемент td выровненный по центру
item_td = item.cssselect('td[align=center]')[0]
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()

'''
<td align="center" valign="middle">
        <table cellpadding="0" cellspacing="0" style="margin:0px">
        <tr>
            <td valign="middle">
                <a href="prog/python/content/python020.phtml" target="_top"><img src="images/open.gif" border="0" width="17" height="17"></a>
            </td>
            <td valign="middle">
                <a href="prog/python/content/python020.phtml" target="_blank"><img src="images/nopen.gif" border="0" width="17" height="17"></a>
            </td>
        </tr>
        </table>
    </td>

<td>
'''

# Удаляем все атрибуты корневого тэга
item_td.attrib.clear()
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()

'''
<td>
        <table cellpadding="0" cellspacing="0" style="margin:0px">
        <tr>
            <td valign="middle">
                <a href="prog/python/content/python020.phtml" target="_top"><img src="images/open.gif" border="0" width="17" height="17"></a>
            </td>
            <td valign="middle">
                <a href="prog/python/content/python020.phtml" target="_blank"><img src="images/nopen.gif" border="0" width="17" height="17"></a>
            </td>
        </tr>
        </table>
    </td>
'''

# Меняем название тэга
item_td.tag = 'my_custom_tag_td'
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()

'''
<my_custom_tag_td>
        <table cellpadding="0" cellspacing="0" style="margin:0px">
        <tr>
            <td valign="middle">
                <a href="prog/python/content/python020.phtml" target="_top"><img src="images/open.gif" border="0" width="17" height="17"></a>
            </td>
            <td valign="middle">
                <a href="prog/python/content/python020.phtml" target="_blank"><img src="images/nopen.gif" border="0" width="17" height="17"></a>
            </td>
        </tr>
        </table>
    </my_custom_tag_td>
'''

# Удаляем список тегов, не трогая их содержимое
etree.strip_tags(item_td, 'a', 'b', 'c')
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()

'''
<my_custom_tag_td>
        <table cellpadding="0" cellspacing="0" style="margin:0px">
        <tr>
            <td valign="middle">
                <img src="images/open.gif" border="0" width="17" height="17">
            </td>
            <td valign="middle">
                <img src="images/nopen.gif" border="0" width="17" height="17">
            </td>
        </tr>
        </table>
    </my_custom_tag_td>
'''

# Удаляем тэг со всеми потрахами
etree.strip_elements(item_td, 'td')
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()

'''
<my_custom_tag_td>
        <table cellpadding="0" cellspacing="0" style="margin:0px">
        <tr>
            </tr>
        </table>
    </my_custom_tag_td>
'''

# standard library
from io import StringIO

# third-party
import requests
from lxml import html, etree

r = requests.get('http://infocity.kiev.ua/section51.php')
print(r.encoding)  # ISO-8859-1
r.encoding = 'cp1251'

root = html.parse(
    StringIO(r.text)
).getroot()

# Выбираем нужную таблицу через смежные селекторы и записи этой таблицы
# начиная с 4 строки
rows = root.cssselect('table ~ form ~ table ~ table tr + tr + tr + tr')
print(len(rows))
print()

item = rows[0]

# Печатаем первый элемент результата поиска
print(
    html.tostring(
        item,
        encoding='unicode'
    )
)
print()

# Печатаем только текст
print(item.text_content().strip())
print()

# http://lxml.de/api/lxml.html.clean.Cleaner-class.html#_tag_link_attrs
from lxml.html.clean import Cleaner
cleaner = Cleaner(
    scripts=True,       # Удаляет все js скрипты <script>
    comments=True,      # Удаляет все комментарии
    allow_tags=['br', 'td', 'tr', 'img'],  # Список тэгов которые не нужно удалять
    remove_unknown_tags=False
)
print(
    cleaner.clean_html(  # применяем фильтр
        html.tostring(
            item,
            encoding='unicode'
        )
    )
)
print()

# Ищем элемент td выровненный по центру
item_td = item.cssselect('td[align=center]')[0]
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()

# Удаляем все атрибуты корневого тэга
item_td.attrib.clear()
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()

# Меняем название тэга
item_td.tag = 'my_custom_tag_td'
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()


# Удаляем список тегов, не трогая их содержимое
etree.strip_tags(item_td, 'a', 'b', 'c')
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()

# Удаляем тэг со всеми потрахами
etree.strip_elements(item_td, 'td')
print(
    html.tostring(
        item_td,
        encoding='unicode'
    )
)
print()