如何从文本中提取所有表情符号?
How to extract all the emojis from text?
考虑以下列表:
a_list = [' me así, bla es se ds ']
如何在新列表中提取 a_list
中的所有表情符号?:
new_lis = [' ']
我尝试使用正则表达式,但我没有所有可能的表情符号编码。
所有 Unicode 表情符号及其各自的代码点都是 here。它们是 1F600 到 1F64F,因此您可以使用类似范围的迭代器构建所有这些。
您可以使用 emoji
库。您可以检查单个代码点是否为表情符号代码点,方法是检查它是否包含在 emoji.UNICODE_EMOJI
.
中
import emoji
def extract_emojis(s):
return ''.join(c for c in s if c in emoji.UNICODE_EMOJI['en'])
如果您不想使用外部库,作为一种 pythonic 方式,您可以简单地使用正则表达式和 re.findall()
使用适当的正则表达式来查找表情符号:
In [74]: import re
In [75]: re.findall(r'[^\w\s,]', a_list[0])
Out[75]: ['', '', '', '', '', '']
正则表达式 r'[^\w\s,]'
是一个取反字符 class,匹配任何非单词字符、空格或逗号的字符。
正如我在评论中提到的,文本通常包含单词字符和标点符号,可以通过这种方法轻松处理,对于其他情况,您可以将它们手动添加到字符 class 中。请注意,由于您可以在字符 class 中指定一个字符范围,您甚至可以使其更短更灵活。
另一种解决方案是使用接受表情符号的字符 class([]
不带 ^
)来代替排除非表情符号字符的否定字符 class。由于有很多表情符号with different unicode values, you just need to add the ranges to the character class. If you want to match more emojies here is a good reference contain all the standard emojies with the respective range for different emojies http://apps.timwhitlock.info/emoji/tables/unicode:
评分最高的答案并不总是有效。例如,将找不到标志表情符号。考虑字符串:
s = u'Hello \U0001f1f7\U0001f1fa hello'
更好的方法是
import emoji
emojis_list = map(lambda x: ''.join(x.split()), emoji.UNICODE_EMOJI.keys())
r = re.compile('|'.join(re.escape(p) for p in emojis_list))
print(' '.join(r.findall(s)))
准确获取风滚草问题的解决方案是混合评分最高的答案和 user594836 的答案。这是在 Python 3.6 中对我有用的代码。
import emoji
import re
test_list=[' me así,bla es,se ds ']
## Create the function to extract the emojis
def extract_emojis(a_list):
emojis_list = map(lambda x: ''.join(x.split()), emoji.UNICODE_EMOJI.keys())
r = re.compile('|'.join(re.escape(p) for p in emojis_list))
aux=[' '.join(r.findall(s)) for s in a_list]
return(aux)
## Execute the function
extract_emojis(test_list)
## the output
[' ']
我认为必须指出,之前的答案不适用于像 这样的表情符号,因为它由 4 个表情符号组成,而使用 ... in emoji.UNICODE_EMOJI
将 return 4 个不同的表情符号。肤色如 .
的表情符号也是如此
我的解决方案
包括 emoji
and regex
模块。正则表达式模块支持识别字形簇(呈现为单个字符的Unicode代码点序列),因此我们可以计算像
这样的表情符号
import emoji
import regex
def split_count(text):
emoji_list = []
data = regex.findall(r'\X', text)
for word in data:
if any(char in emoji.UNICODE_EMOJI['en'] for char in word):
emoji_list.append(word)
return emoji_list
测试
更多肤色表情:
line = [" me así, se ds hello emoji hello how are you today"]
counter = split_count(line[0])
print(' '.join(emoji for emoji in counter))
输出:
包括标志
如果你想包含标志,比如 Unicode 范围来自 to ,那么添加:
flags = regex.findall(u'[\U0001F1E6-\U0001F1FF]', text)
到上面的函数,return emoji_list + flags
.
有关标志的详细信息,请参阅 。
对于较新的 emoji
版本
要使用表情符号 >= v1.2.0,您必须添加语言说明符(例如上面代码中的 en
):
emoji.UNICODE_EMOJI['en']
第 1 步:确保您的文本已在 utf-8 上解码text.decode('utf-8')
第 2 步: 从您的文本中找到所有表情符号,您必须逐字符分隔文本 [str for str in decode]
第 3 步: 将所有表情符号保存在列表中 [c for c in allchars if c in emoji.UNICODE_EMOJI]
完整示例如下:
>>> import emoji
>>> text = " me así, bla es se ds "
>>> decode = text.decode('utf-8')
>>> allchars = [str for str in decode]
>>> list = [c for c in allchars if c in emoji.UNICODE_EMOJI]
>>> print list
[u'\U0001f914', u'\U0001f648', u'\U0001f60c', u'\U0001f495', u'\U0001f46d', u'\U0001f459']
如果你想从文本中删除
>>> filtred = [str for str in decode.split() if not any(i in str for i in list)]
>>> clean_text = ' '.join(filtred)
>>> print clean_text
me así, bla es se ds
好的 - 我遇到了同样的问题,我想出了一个解决方案,它不需要你导入任何库(比如 emoji 或 re)并且是一行代码。它将 return 字符串中的所有表情符号:
def extract_emojis(sentence):
return [word for word in sentence.split() if str(word.encode('unicode-escape'))[2] == '\' ]
这使我能够创建一个轻量级的解决方案,我希望它对大家有所帮助。实际上 - 我需要一个可以过滤掉字符串中任何表情符号的工具 - 这与上面的代码相同,但有一个小的变化:
def filter_emojis(sentence):
return [word for word in sentence.split() if str(word.encode('unicode-escape'))[2] != '\' ]
这是一个实际的例子:
>>> a = ' me así, bla es se ds '
>>> b = extract_emojis(a)
>>> b
['', '', '', '']
from emoji import *
EMOJI_SET = set()
# populate EMOJI_DICT
def pop_emoji_dict():
for emoji in UNICODE_EMOJI:
EMOJI_SET.add(emoji)
# check if emoji
def is_emoji(s):
for letter in s:
if letter in EMOJI_SET:
return True
return False
在处理大型数据集时,这是一个更好的解决方案,因为您不必每次都遍历所有表情符号。发现这个可以给我更好的结果:)
此函数需要一个字符串,因此将输入列表转换为字符串
a_list = ' me así, bla es se ds '
# Import the necessary modules
from nltk.tokenize import regexp_tokenize
# Tokenize and print only emoji
emoji = "['\U0001F300-\U0001F5FF'|'\U0001F600-\U0001F64F'|'\U0001F680-
\U0001F6FF'|'\u2600-\u26FF\u2700-\u27BF']"
print(regexp_tokenize(a_list, emoji))
output :['', '', '', '', '']
使用 emoji 的另一种方法是使用 emoji.demojize
并将它们转换为表情符号的文本表示形式。
例如:将转换为 :grinning_face:
etc..
然后找到所有 :.*:
模式,并在这些模式上使用 emoji.emojize
。
# -*- coding: utf-8 -*-
import emoji
import re
text = """
Of course, too many emoji characters \
like , #@^!*&#@^# helps people read aaaaaa #douchebag
"""
text = emoji.demojize(text)
text = re.findall(r'(:[^:]*:)', text)
list_emoji = [emoji.emojize(x) for x in text]
print(list_emoji)
这可能是一种多余的方式,但它是如何使用 emoji.emojize
和 emoji.demojize
的示例。
首先你需要安装这个:
conda install -c conda-forge emoji
现在我们可以编写如下代码:
import emoji
import re
text= ' me así, bla es se ds '
text_de= emoji.demojize(text)
如果我们打印 text_de 输出是:
':thinking_face: :see-no-evil_monkey: me así, bla es se :relieved_face: ds
:two_hearts::two_women_holding_hands::bikini:'
现在我们可以使用正则表达式来查找表情符号了。
emojis_list_de= re.findall(r'(:[!_\-\w]+:)', text_de)
list_emoji= [emoji.emojize(x) for x in emojis_list_de]
如果我们打印lis_emoji,输出:
['', '', '', '', '', '']
所以,我们可以使用 Join 函数:
[''.join(list_emoji)]
OutPut: ['']
如果您想删除表情符号,可以使用以下代码:
def remove_emoji(text):
'''
remove all of emojis from text
-------------------------
'''
text= emoji.demojize(text)
text= re.sub(r'(:[!_\-\w]+:)', '', text)
return text
import emojis
new_list = emojis.get(' me así, bla es se ds ')
print(new_list)
output>>>{'', '', '', '', '', ''}
这是另一个使用 emoji.get_emoji_regexp()
和 re
的选项:
import re
import emoji
def extract_emojis(text):
return re.findall(emoji.get_emoji_regexp(), text)
test_str = ' some various emojis and flags '
emojis = extract_emojis(test_str)
这产生:
['', '', '', '\u200d', '', '\u200d\u200d\u200d']
或者,查看字素簇:
print(' '.join(emoji for emoji in emojis))
产量
如果一个库看起来有点矫枉过正,试试这个正则表达式 - 它通过在一个大的交替中首先匹配最长的表情符号来工作。解析所有表情符号、所有肤色和所有标志。 (v14.0)more info
# coding=utf8
import re
a_list = [' me así, bla es se ds ']
ret = re.findall(r'(?:❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|||||||||||❤️|❤️|❤️|||||||||||||️️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|||||||||||||||||||||||||||||||⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|||||||||||||||||||||||||||||||♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|||||||||||||||||||||♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️||||||||||||||||||||||||||||||||||||||||||||||♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|️|️♂️|️♀️|️♂️|️♀️|️♂️|️♀️|️|️⚧️|⛹♂️|⛹♂️|⛹♂️|⛹♂️|⛹♂️|⛹♀️|⛹♀️|⛹♀️|⛹♀️|⛹♀️|||❤️|❤️|♂️|♀️|||||||||||||♀️|♂️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|⚕️|⚕️|⚕️|||||||⚖️|⚖️|⚖️||||||||||||||||||||||||||||✈️|✈️|✈️|||||||♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|||||♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️||||||||||♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|⛹️♂️|⛹️♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️||||||❄️|☠️|⬛|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||#️⃣|0️⃣|1️⃣|2️⃣|3️⃣|4️⃣|5️⃣|6️⃣|7️⃣|8️⃣|9️⃣|✋|✋|✋|✋|✋|✌|✌|✌|✌|✌|☝|☝|☝|☝|☝|✊|✊|✊|✊|✊|✍|✍|✍|✍|✍|⛹|⛹|⛹|⛹|⛹||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||☺|☹|☠|❣|❤|✋|✌|☝|✊|✍|⛷|⛹|☘|☕|⛰|⛪|⛩|⛲|⛺|♨|⛽|⚓|⛵|⛴|✈|⌛|⏳|⌚|⏰|⏱|⏲|☀|⭐|☁|⛅|⛈|☂|☔|⛱|⚡|❄|☃|⛄|☄|✨|⚽|⚾|⛳|⛸|♠|♥|♦|♣|♟|⛑|☎|⌨|✉|✏|✒|✂|⛏|⚒|⚔|⚙|⚖|⛓|⚗|⚰|⚱|♿|⚠|⛔|☢|☣|⬆|↗|➡|↘|⬇|↙|⬅|↖|↕|↔|↩|↪|⤴|⤵|⚛|✡|☸|☯|✝|☦|☪|☮|♈|♉|♊|♋|♌|♍|♎|♏|♐|♑|♒|♓|⛎|▶|⏩|⏭|⏯|◀|⏪|⏮|⏫|⏬|⏸|⏹|⏺|⏏|♀|♂|⚧|✖|➕|➖|➗|♾|‼|⁉|❓|❔|❕|❗|〰|⚕|♻|⚜|⭕|✅|☑|✔|❌|❎|➰|➿|〽|✳|✴|❇|©|®|™|ℹ|Ⓜ|㊗|㊙|⚫|⚪|⬛|⬜|◼|◻|◾|◽|▪|▫)', a_list[0])
print(ret)
#['', '', '', '', '', '']
基于 Mohammed Terry Jack 的回答,该回答仅适用于每个表情符号由 space 分隔的情况。请参阅下面的修改版本,其中删除了此要求:
def extract_emojis(sentence):
return [sentence[i] for i in range(len(sentence)) if str(sentence[i].encode('unicode-escape'))[2] == '\' ]
预期结果:
>>> a = ' me así, bla es se ds '
>>> b = extract_emojis(a)
>>> b
['', '', '', '', '', '']
考虑以下列表:
a_list = [' me así, bla es se ds ']
如何在新列表中提取 a_list
中的所有表情符号?:
new_lis = [' ']
我尝试使用正则表达式,但我没有所有可能的表情符号编码。
所有 Unicode 表情符号及其各自的代码点都是 here。它们是 1F600 到 1F64F,因此您可以使用类似范围的迭代器构建所有这些。
您可以使用 emoji
库。您可以检查单个代码点是否为表情符号代码点,方法是检查它是否包含在 emoji.UNICODE_EMOJI
.
import emoji
def extract_emojis(s):
return ''.join(c for c in s if c in emoji.UNICODE_EMOJI['en'])
如果您不想使用外部库,作为一种 pythonic 方式,您可以简单地使用正则表达式和 re.findall()
使用适当的正则表达式来查找表情符号:
In [74]: import re
In [75]: re.findall(r'[^\w\s,]', a_list[0])
Out[75]: ['', '', '', '', '', '']
正则表达式 r'[^\w\s,]'
是一个取反字符 class,匹配任何非单词字符、空格或逗号的字符。
正如我在评论中提到的,文本通常包含单词字符和标点符号,可以通过这种方法轻松处理,对于其他情况,您可以将它们手动添加到字符 class 中。请注意,由于您可以在字符 class 中指定一个字符范围,您甚至可以使其更短更灵活。
另一种解决方案是使用接受表情符号的字符 class([]
不带 ^
)来代替排除非表情符号字符的否定字符 class。由于有很多表情符号with different unicode values, you just need to add the ranges to the character class. If you want to match more emojies here is a good reference contain all the standard emojies with the respective range for different emojies http://apps.timwhitlock.info/emoji/tables/unicode:
评分最高的答案并不总是有效。例如,将找不到标志表情符号。考虑字符串:
s = u'Hello \U0001f1f7\U0001f1fa hello'
更好的方法是
import emoji
emojis_list = map(lambda x: ''.join(x.split()), emoji.UNICODE_EMOJI.keys())
r = re.compile('|'.join(re.escape(p) for p in emojis_list))
print(' '.join(r.findall(s)))
准确获取风滚草问题的解决方案是混合评分最高的答案和 user594836 的答案。这是在 Python 3.6 中对我有用的代码。
import emoji
import re
test_list=[' me así,bla es,se ds ']
## Create the function to extract the emojis
def extract_emojis(a_list):
emojis_list = map(lambda x: ''.join(x.split()), emoji.UNICODE_EMOJI.keys())
r = re.compile('|'.join(re.escape(p) for p in emojis_list))
aux=[' '.join(r.findall(s)) for s in a_list]
return(aux)
## Execute the function
extract_emojis(test_list)
## the output
[' ']
我认为必须指出,之前的答案不适用于像 这样的表情符号,因为它由 4 个表情符号组成,而使用 ... in emoji.UNICODE_EMOJI
将 return 4 个不同的表情符号。肤色如 .
我的解决方案
包括 emoji
and regex
模块。正则表达式模块支持识别字形簇(呈现为单个字符的Unicode代码点序列),因此我们可以计算像
import emoji
import regex
def split_count(text):
emoji_list = []
data = regex.findall(r'\X', text)
for word in data:
if any(char in emoji.UNICODE_EMOJI['en'] for char in word):
emoji_list.append(word)
return emoji_list
测试
更多肤色表情:
line = [" me así, se ds hello emoji hello how are you today"]
counter = split_count(line[0])
print(' '.join(emoji for emoji in counter))
输出:
包括标志
如果你想包含标志,比如 Unicode 范围来自 to ,那么添加:
flags = regex.findall(u'[\U0001F1E6-\U0001F1FF]', text)
到上面的函数,return emoji_list + flags
.
有关标志的详细信息,请参阅
对于较新的 emoji
版本
要使用表情符号 >= v1.2.0,您必须添加语言说明符(例如上面代码中的 en
):
emoji.UNICODE_EMOJI['en']
第 1 步:确保您的文本已在 utf-8 上解码text.decode('utf-8')
第 2 步: 从您的文本中找到所有表情符号,您必须逐字符分隔文本 [str for str in decode]
第 3 步: 将所有表情符号保存在列表中 [c for c in allchars if c in emoji.UNICODE_EMOJI]
完整示例如下:
>>> import emoji
>>> text = " me así, bla es se ds "
>>> decode = text.decode('utf-8')
>>> allchars = [str for str in decode]
>>> list = [c for c in allchars if c in emoji.UNICODE_EMOJI]
>>> print list
[u'\U0001f914', u'\U0001f648', u'\U0001f60c', u'\U0001f495', u'\U0001f46d', u'\U0001f459']
如果你想从文本中删除
>>> filtred = [str for str in decode.split() if not any(i in str for i in list)]
>>> clean_text = ' '.join(filtred)
>>> print clean_text
me así, bla es se ds
好的 - 我遇到了同样的问题,我想出了一个解决方案,它不需要你导入任何库(比如 emoji 或 re)并且是一行代码。它将 return 字符串中的所有表情符号:
def extract_emojis(sentence):
return [word for word in sentence.split() if str(word.encode('unicode-escape'))[2] == '\' ]
这使我能够创建一个轻量级的解决方案,我希望它对大家有所帮助。实际上 - 我需要一个可以过滤掉字符串中任何表情符号的工具 - 这与上面的代码相同,但有一个小的变化:
def filter_emojis(sentence):
return [word for word in sentence.split() if str(word.encode('unicode-escape'))[2] != '\' ]
这是一个实际的例子:
>>> a = ' me así, bla es se ds '
>>> b = extract_emojis(a)
>>> b
['', '', '', '']
from emoji import *
EMOJI_SET = set()
# populate EMOJI_DICT
def pop_emoji_dict():
for emoji in UNICODE_EMOJI:
EMOJI_SET.add(emoji)
# check if emoji
def is_emoji(s):
for letter in s:
if letter in EMOJI_SET:
return True
return False
在处理大型数据集时,这是一个更好的解决方案,因为您不必每次都遍历所有表情符号。发现这个可以给我更好的结果:)
此函数需要一个字符串,因此将输入列表转换为字符串
a_list = ' me así, bla es se ds '
# Import the necessary modules
from nltk.tokenize import regexp_tokenize
# Tokenize and print only emoji
emoji = "['\U0001F300-\U0001F5FF'|'\U0001F600-\U0001F64F'|'\U0001F680-
\U0001F6FF'|'\u2600-\u26FF\u2700-\u27BF']"
print(regexp_tokenize(a_list, emoji))
output :['', '', '', '', '']
使用 emoji 的另一种方法是使用 emoji.demojize
并将它们转换为表情符号的文本表示形式。
例如:将转换为 :grinning_face:
etc..
然后找到所有 :.*:
模式,并在这些模式上使用 emoji.emojize
。
# -*- coding: utf-8 -*-
import emoji
import re
text = """
Of course, too many emoji characters \
like , #@^!*&#@^# helps people read aaaaaa #douchebag
"""
text = emoji.demojize(text)
text = re.findall(r'(:[^:]*:)', text)
list_emoji = [emoji.emojize(x) for x in text]
print(list_emoji)
这可能是一种多余的方式,但它是如何使用 emoji.emojize
和 emoji.demojize
的示例。
首先你需要安装这个:
conda install -c conda-forge emoji
现在我们可以编写如下代码:
import emoji
import re
text= ' me así, bla es se ds '
text_de= emoji.demojize(text)
如果我们打印 text_de 输出是:
':thinking_face: :see-no-evil_monkey: me así, bla es se :relieved_face: ds
:two_hearts::two_women_holding_hands::bikini:'
现在我们可以使用正则表达式来查找表情符号了。
emojis_list_de= re.findall(r'(:[!_\-\w]+:)', text_de)
list_emoji= [emoji.emojize(x) for x in emojis_list_de]
如果我们打印lis_emoji,输出:
['', '', '', '', '', '']
所以,我们可以使用 Join 函数:
[''.join(list_emoji)]
OutPut: ['']
如果您想删除表情符号,可以使用以下代码:
def remove_emoji(text):
'''
remove all of emojis from text
-------------------------
'''
text= emoji.demojize(text)
text= re.sub(r'(:[!_\-\w]+:)', '', text)
return text
import emojis
new_list = emojis.get(' me así, bla es se ds ')
print(new_list)
output>>>{'', '', '', '', '', ''}
这是另一个使用 emoji.get_emoji_regexp()
和 re
的选项:
import re
import emoji
def extract_emojis(text):
return re.findall(emoji.get_emoji_regexp(), text)
test_str = ' some various emojis and flags '
emojis = extract_emojis(test_str)
这产生:
['', '', '', '\u200d', '', '\u200d\u200d\u200d']
或者,查看字素簇:
print(' '.join(emoji for emoji in emojis))
产量
如果一个库看起来有点矫枉过正,试试这个正则表达式 - 它通过在一个大的交替中首先匹配最长的表情符号来工作。解析所有表情符号、所有肤色和所有标志。 (v14.0)more info
# coding=utf8
import re
a_list = [' me así, bla es se ds ']
ret = re.findall(r'(?:❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|❤️|||||||||||❤️|❤️|❤️|||||||||||||️️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|⚕️|||||||||||||||||||||||||||||||⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️|⚖️||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|✈️|||||||||||||||||||||||||||||||♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|||||||||||||||||||||♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️||||||||||||||||||||||||||||||||||||||||||||||♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|♂️|♂️|♂️|♂️|♂️|♀️|♀️|♀️|♀️|♀️|️|️♂️|️♀️|️♂️|️♀️|️♂️|️♀️|️|️⚧️|⛹♂️|⛹♂️|⛹♂️|⛹♂️|⛹♂️|⛹♀️|⛹♀️|⛹♀️|⛹♀️|⛹♀️|||❤️|❤️|♂️|♀️|||||||||||||♀️|♂️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|⚕️|⚕️|⚕️|||||||⚖️|⚖️|⚖️||||||||||||||||||||||||||||✈️|✈️|✈️|||||||♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|||||♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️||||||||||♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|⛹️♂️|⛹️♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️|♂️|♀️||||||❄️|☠️|⬛|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||#️⃣|0️⃣|1️⃣|2️⃣|3️⃣|4️⃣|5️⃣|6️⃣|7️⃣|8️⃣|9️⃣|✋|✋|✋|✋|✋|✌|✌|✌|✌|✌|☝|☝|☝|☝|☝|✊|✊|✊|✊|✊|✍|✍|✍|✍|✍|⛹|⛹|⛹|⛹|⛹||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||☺|☹|☠|❣|❤|✋|✌|☝|✊|✍|⛷|⛹|☘|☕|⛰|⛪|⛩|⛲|⛺|♨|⛽|⚓|⛵|⛴|✈|⌛|⏳|⌚|⏰|⏱|⏲|☀|⭐|☁|⛅|⛈|☂|☔|⛱|⚡|❄|☃|⛄|☄|✨|⚽|⚾|⛳|⛸|♠|♥|♦|♣|♟|⛑|☎|⌨|✉|✏|✒|✂|⛏|⚒|⚔|⚙|⚖|⛓|⚗|⚰|⚱|♿|⚠|⛔|☢|☣|⬆|↗|➡|↘|⬇|↙|⬅|↖|↕|↔|↩|↪|⤴|⤵|⚛|✡|☸|☯|✝|☦|☪|☮|♈|♉|♊|♋|♌|♍|♎|♏|♐|♑|♒|♓|⛎|▶|⏩|⏭|⏯|◀|⏪|⏮|⏫|⏬|⏸|⏹|⏺|⏏|♀|♂|⚧|✖|➕|➖|➗|♾|‼|⁉|❓|❔|❕|❗|〰|⚕|♻|⚜|⭕|✅|☑|✔|❌|❎|➰|➿|〽|✳|✴|❇|©|®|™|ℹ|Ⓜ|㊗|㊙|⚫|⚪|⬛|⬜|◼|◻|◾|◽|▪|▫)', a_list[0])
print(ret)
#['', '', '', '', '', '']
基于 Mohammed Terry Jack 的回答,该回答仅适用于每个表情符号由 space 分隔的情况。请参阅下面的修改版本,其中删除了此要求:
def extract_emojis(sentence):
return [sentence[i] for i in range(len(sentence)) if str(sentence[i].encode('unicode-escape'))[2] == '\' ]
预期结果:
>>> a = ' me así, bla es se ds '
>>> b = extract_emojis(a)
>>> b
['', '', '', '', '', '']