Python: 将文本分类到类别中
Python: classify text into the categories
我有一部分训练集
url category
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_nkw=Джинсы&_dcat=11483&Inseam=33&rt=nc&_trksid=p2045573.m1684 Онлайн-магазин
google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=%D0%BA%D0%BA%D1%83%D0%BF%D0%BE%D0%BD%D1%8B%20aliexpress%202016 Search
google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#newwindow=1&q=%D0%BA%D1%83%D0%BF%D0%BE%D0%BD%D1%8B+aliexpress+2016 Search
google.ru/search?q=авито&oq=авито&aqs=chrome..69i57j0l5.1608j0j7&sourceid=chrome&es_sm=122&ie=UTF-8 Search
irecommend.ru/content/kogda-somnenii-byt-ne-mozhet-tolko-klear-blyu-pomozhet Форумы и отзывы
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_dcat=11483&Inseam=33&_nkw=Джинсы&_sop=15 Онлайн-магазин
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_dcat=11483&Inseam=33&_nkw=Джинсы&_sop=15 Онлайн-магазин
irecommend.ru/content/gramotnyi-razvod-na-dengi-bolshe-ne-kuplyu-vret Форумы и отзывы
google.ru/search?q=яндекс&oq=яндекс&aqs=chrome..69i57j69i61l3j69i59l2.1383j0j1&sourceid=chrome&es_sm=93&ie=UTF-8 Search
google.ru/search?q=авито&oq=авито&aqs=chrome..69i57j69i59j69i60.1095j0j1&sourceid=chrome&es_sm=93&ie=UTF-8 Search
otzovik.com/review_1399716.html#debug Форумы и отзывы
svyaznoy.ru Онлайн-магазин
mvideo.ru/smartfony-sotovye-telefony/apple-iphone-2927 Онлайн-магазин
mvideo.ru/promo/rassrochka-0-0-12-mark24197850/f/category=iphone-914?sort=priceLow&_=1453896710474&categoryId=10 Онлайн-магазин
svyaznoy.ru/catalog/phone/224/tag/windows-phone Онлайн-магазин
google.it/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=%D0%B5%D0%B2%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C Search
vk.com Social network
这是 url 和 category 之间的联系
而且我还有测试集，我需要为每个 url.
获取类别
url
vk.com/topic-102849764_32295213
stats.stackexchange.com/questions/19048/what-is-the-difference-between-test-set-and-validation-set
google.ru/search?q=learning+sample&oq=learning+sample&aqs=chrome..69i57.4063j0j1&sourceid=chrome&ie=UTF-8#newwindow=1&q=machine+learning+test+and+learn
facebook.com
locals.ru
tvzvezda.ru/news/vstrane_i_mire/content/201609261038-k6n1.htm
我不知道，我应该用什么算法来解决这个任务。
我需要最好的方法来获得最大的准确性。
我认为这是一个问题，我有多个类别。
我首先尝试解析 html 标签 title，因为我认为，我只能使用 url.
来确定类别
基本上，您会将字符串分类。因此，您将使用分类器。但是您不会只使用一个分类器，而是会测试多个分类器并选择最准确的一个。
然而，首先，您必须考虑每个 url 的特征。如果您只是将 url 作为字符串和唯一的特征提供，我希望您不会获得很高的准确性。
相反，您将对每个 url 进行预处理以提取特征。 relevant/useful 特征的选择在很大程度上取决于领域。功能可以是：
简单的功能
第一个字直到点例如：facebook for "facebook.com"
整个字符串的长度
复杂的特征
假设您为每个集群定义关键字，例如您将为 "online-shopping"-cluster 定义 [promo, buy, shop, sell, price]，然后您可以计算字符串中出现的关键字数量对于每个集群作为一个特征
因此，您必须首先继续进行 特征工程，其次进行比较分类器性能。
附加输入：
Similiar question on SO (regarding URL features)
Fast Webpage Classification Using URL Features
编辑：一个例子
url = "irecommend.ru/content/kogda-somnenii-byt-ne-mozhet-tolko-klear-blyu-pomozhet"
f1 = len(url) = 76
f2 = base = str(url).split("/",1)[0] = "irecommend.ru"
f3 = segments = str(a).count("/") = 2
来自 here by Eiyrioü von Kauyf
的更多解决方案
import string
count = lambda l1,l2: sum([1 for x in l1 if x in l2])
f4 = count_punctuation = count(a,set(string.punctuation))
f5 = count_ascii = count(a,set(string.ascii_letters))
然而这些例子都是非常简单的特征，没有涵盖URL的语义内容。根据目标变量（簇）的 depth/sophistication，您可能需要使用基于 n-gram 的特征，例如 here
我有一部分训练集
url category
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_nkw=Джинсы&_dcat=11483&Inseam=33&rt=nc&_trksid=p2045573.m1684 Онлайн-магазин
google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=%D0%BA%D0%BA%D1%83%D0%BF%D0%BE%D0%BD%D1%8B%20aliexpress%202016 Search
google.ru/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#newwindow=1&q=%D0%BA%D1%83%D0%BF%D0%BE%D0%BD%D1%8B+aliexpress+2016 Search
google.ru/search?q=авито&oq=авито&aqs=chrome..69i57j0l5.1608j0j7&sourceid=chrome&es_sm=122&ie=UTF-8 Search
irecommend.ru/content/kogda-somnenii-byt-ne-mozhet-tolko-klear-blyu-pomozhet Форумы и отзывы
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_dcat=11483&Inseam=33&_nkw=Джинсы&_sop=15 Онлайн-магазин
ebay.com/sch/Mens-Clothing-/1059/i.html?_from=R40&LH_BIN=1&Bottoms%2520Size%2520%2528Men%2527s%2529=33&Size%2520Type=Regular&_dcat=11483&Inseam=33&_nkw=Джинсы&_sop=15 Онлайн-магазин
irecommend.ru/content/gramotnyi-razvod-na-dengi-bolshe-ne-kuplyu-vret Форумы и отзывы
google.ru/search?q=яндекс&oq=яндекс&aqs=chrome..69i57j69i61l3j69i59l2.1383j0j1&sourceid=chrome&es_sm=93&ie=UTF-8 Search
google.ru/search?q=авито&oq=авито&aqs=chrome..69i57j69i59j69i60.1095j0j1&sourceid=chrome&es_sm=93&ie=UTF-8 Search
otzovik.com/review_1399716.html#debug Форумы и отзывы
svyaznoy.ru Онлайн-магазин
mvideo.ru/smartfony-sotovye-telefony/apple-iphone-2927 Онлайн-магазин
mvideo.ru/promo/rassrochka-0-0-12-mark24197850/f/category=iphone-914?sort=priceLow&_=1453896710474&categoryId=10 Онлайн-магазин
svyaznoy.ru/catalog/phone/224/tag/windows-phone Онлайн-магазин
google.it/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=%D0%B5%D0%B2%D1%80%D0%BE%D1%81%D0%B5%D1%82%D1%8C Search
vk.com Social network
这是 url 和 category 之间的联系
而且我还有测试集，我需要为每个 url.
url
vk.com/topic-102849764_32295213
stats.stackexchange.com/questions/19048/what-is-the-difference-between-test-set-and-validation-set
google.ru/search?q=learning+sample&oq=learning+sample&aqs=chrome..69i57.4063j0j1&sourceid=chrome&ie=UTF-8#newwindow=1&q=machine+learning+test+and+learn
facebook.com
locals.ru
tvzvezda.ru/news/vstrane_i_mire/content/201609261038-k6n1.htm
我不知道，我应该用什么算法来解决这个任务。 我需要最好的方法来获得最大的准确性。 我认为这是一个问题，我有多个类别。
我首先尝试解析 html 标签 title，因为我认为，我只能使用 url.
基本上，您会将字符串分类。因此，您将使用分类器。但是您不会只使用一个分类器，而是会测试多个分类器并选择最准确的一个。
然而，首先，您必须考虑每个 url 的特征。如果您只是将 url 作为字符串和唯一的特征提供，我希望您不会获得很高的准确性。
相反，您将对每个 url 进行预处理以提取特征。 relevant/useful 特征的选择在很大程度上取决于领域。功能可以是：
简单的功能
第一个字直到点例如：facebook for "facebook.com"
整个字符串的长度
复杂的特征
假设您为每个集群定义关键字，例如您将为 "online-shopping"-cluster 定义 [promo, buy, shop, sell, price]，然后您可以计算字符串中出现的关键字数量对于每个集群作为一个特征
因此，您必须首先继续进行 特征工程，其次进行比较分类器性能。
附加输入：
Similiar question on SO (regarding URL features)
Fast Webpage Classification Using URL Features
编辑：一个例子
url = "irecommend.ru/content/kogda-somnenii-byt-ne-mozhet-tolko-klear-blyu-pomozhet"
f1 = len(url) = 76
f2 = base = str(url).split("/",1)[0] = "irecommend.ru"
f3 = segments = str(a).count("/") = 2
来自 here by Eiyrioü von Kauyf
的更多解决方案import string
count = lambda l1,l2: sum([1 for x in l1 if x in l2])
f4 = count_punctuation = count(a,set(string.punctuation))
f5 = count_ascii = count(a,set(string.ascii_letters))
然而这些例子都是非常简单的特征，没有涵盖URL的语义内容。根据目标变量（簇）的 depth/sophistication，您可能需要使用基于 n-gram 的特征，例如 here