1 Python 1.1 爬虫 |
1.1.1 多线程 |
1.1.2 B站 |
1.1.3 zmq71多线程爬取 |
1.1.4 jable.tv多线程爬取 |
1.1.4.1 jable.tv细节 |
1.1.5 python执行js代码 |
1.1.6 windows代理配置 |
1.2 Linux编译升级3.9版本 |
1.3 数据分析 |
1.3.1 预测考研成绩 |
2 Python django |
2.1 目录层面说明 |
2.1.1 urls.py |
2.1.2 settings.py |
2.1.3 M 模型数据库 |
2.1.4 T templates/...html |
2.1.5 V(逻辑处理) views.py |
2.2 django模板 |
2.2.1 模板标签 |
2.2.1.1 过滤器 |
2.2.1.2 标签 |
2.2.1.2.1 if/else |
2.2.1.2.2 for |
2.2.1.2.3 ifequal/ifnotequal |
2.2.1.2.4 csrf_token |
2.2.1.3 模板继承 |
2.2.2 自定义标签和过滤器 |
2.3 django模型ORM |
2.3.1 App应用 |
2.3.1.1 models.py |
2.3.2 SQL |
2.3.2.1 新增 |
2.3.2.2 删除 |
2.3.2.3 更新 |
2.3.2.4 查询 |
2.3.3 单表示例 |
2.3.4 多表示例 |
2.3.5 聚合查询 |
2.3.6 分组查询 |
2.4 django表单 |
2.4.1 GET |
2.4.2 POST |
2.4.3 Request |
2.5 django视图 |
2.6 django路由 |
2.7 django Admin管理 |
2.8 django组件 |
2.8.1 Form页面组件 |
2.8.2 Auth用户认证 |
2.8.3 Cookie/Session |
2.8.4 中间件 |
2.8.5 视图FBV/CBV |
2.9 django+nginx+uwsgi |
2.10 Python小知识 |
2.10.1 def __int__(self): |
2.10.2 def __str__(self): |
2.10.3 @staticmethod |
2.10.4 @wraps |
2.10.5 pycharm |
由于该网站使用了 Cloudflare 的反爬机制,所以需要模拟浏览器行为,如使用 cookies 和 User-Agent 等信息,同时还需要设置一些 Cloudflare 相关的 headers。
以下是示例代码,可以作为参考:
``` import requests
url = "https://jable.tv/videos/ssis-639/"
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36", "Referer": "https://jable.tv/", "Sec-Fetch-Dest": "document", "Sec-Fetch-Mode": "navigate", "Sec-Fetch-Site": "same-origin", "Upgrade-Insecure-Requests": "1", }
cookies = { "PHPSESSID": "aialbriedo7a0hvmi8fl6r4mlb", "_ga": "GA1.1.845456084.1679845314", "kt_tcookie": "1", "kt_ips": "45.9.8.135%2C2a06%3Aa005%3A2e0%3Aef55%3Ad92e%3A9c76%3Aa270%3Ad746%2C2a06%3Aa005%3A2e0%3A6585%3A11e5%3Af6c8%3Aa235%3A9bec%2C2a06%3Aa005%3A2e0%3A9895%3A8255%3Ac869%3Adb75%3A1d6c%2C2a06%3Aa005%3A2e0%3Aa386%3Ab6e8%3Acc3c%3A784c%3A56d6", "_ga_1DTX7D4FHE": "GS1.1.1679852734.2.1.1679853568.0.0.0", }
response = requests.get(url, headers=headers, cookies=cookies) |