如何 view/remove 控制日志文件中的字符
How to view/remove control characters from log file
我手动将日志文件从 snort 上传到 hadoop，当我在 hadoop 中打开它时，它以这种未知格式出现：
" �ò"
当我在 vi 中打开它时，它以这种方式显示：
º^_'^@^@^A^A^H$
^@^OàQ^FÉ-ü^W^C^C^Bô^@^@^@^@^@^@^@G/~f¬!®x^_5^N©^TÓ b$
^Q5¦9<85>^[ÍjEñ<83><95>2×@£,æcÖj<82><8a>Ã<84>üá^Dá^A%^B¯·ìB?²* ýµ<9e> fÐvÈ^ETiÍ<98>¹m<98>^BOæyá5«ÕÝ8S<88>¨>à^^ûÝ^T<87><89>üF~ù<9a>X<9b>4^Oá%·Ú3½^K< 8f>^Bdº<94>rT<8e>K<94><8e>ÅÌÄ<8d>_ȱ^_Ð^W^OF<94>+¬ß+_6^Tÿ<93>!L>²^G< 9b>S]^OüsK^QzY^R]Âòß^D¯ §$
^Aì#_Öv_Ú]ì^Z+2»8<9b>l åñ/^Ov$
<94>î·N/e*7ôø/yâ|x^T<80>©L<9f>Ulç(óõ^R.<9f>÷È<86>"<8f>Ô<8e>üB< 9f>^^E3^Q<92>²¸mdRê<89>úÝ<80>Àóàzcr^Sa0^Q^LS<8d>ïü{DJ¬»zÉ÷ð<98>½<9c> Cxè^^<9a>q^S<84>Ó?´üÓv^LAâ3â<95>ò$<96>¸ <85>Æ(Ö<9d>Ã)<86>óI65^^®|^Hnp~^ ？$
N¾ök\,ü«ßàÌ)^Bò<9c>£b^Qª<8a>ãö<80><89>ûó<91>þ¿^<9b>põy<89>ã+^^ ^^Ü^@}o9"W<82> ·^U<93>MϽ:ÕuGA.^\^RR^Q^X»æ<85><9e>ñÀóð;^T4IJ^WÅÝ<99>^N!^ºV<81>{QYÁ<9b>0¸^Z^ú^T^U^[Nù¤<8e>JuCÐ<9a>0)N6å¾í<96>'ᡨu<9e>=½<8e>tݧ¨Dºÿ<93><9b>^PÓ^K9<92>5Èg<8b>õ8<8e>,»dÊÀA§ä^R+^Pɺ^Q3(°<97>ëQÂÚIFÉ^Nø<98><8d>ÈÚ4gçTg9²iÛ·Ñ1<97><86>®^OMu^O²^YßÙ+^XÂ,<8f>^ZÊë8h<90>+ú^@<9f>%ÚÃ<8d>\¹<87> ï¯#Lú<9e>y{ý!^Z'bH^C<89>ù÷8;¾d<83>=Aæ©}¸0L<8d>Wß<9d>'L)<80><86>×<86>^@Ï +ÈÔ<89>Ó×^Na^WG6^G<8c>¯iu¯ûÇd"{Ͻ¬<8d>^^^M=<82>2H<87>r5ì1^ZÐ^A^WÌ<96>#t'ý^Z^W¤öR ´ÿ<8d>(ågójîÓ<91>ßÈ+^_}ÆJ<93>XSJZNµãµ"<83>ñq<8d><9f><81><99>Ö(¤-^SpÒ6<9c>b<94> 1ÅiU<9b>½o<91><92>pb<8c>ã|^Bc¾g2^FÅC¶a÷¡<8f><83>^_Ï,¥g$
Å*yªu^G½'<98>îwátA^T@È6_<9a>Xá<90>^L^@y^@^@^@y^@^@^@HZ¶^úMÄn^« 2´^H^@E^@^@k^@^@@^@?^Q¯ÄÀ¨^E^EÀ¨^Eh^@5@÷^@WU<81>t@<81><80 >^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^A^@^AÀ^L^@^E^@^A^@^@^K< 89>^@^Q^Istar-mini^Dc10rÀ^PÀ.^@^A^@^A^@^@^@<^@^D^^M]$6_<9a>XD< 9d>^L^@<85>^@^@^@<85>^@^@^@HZ¶^úMÄn^«2´^H^@E^@^@w^@^ @@^@?^Q¯¯À¨^E^EÀ¨^Eh^@5<89>^@c¹n<õ<81><80>^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^@^AÀ^L^@^E^@^A^@^@^K<89>^@^Q^Istar-mini^Dc10rÀ^PÀ.^@^\^@^A^@^@^@^]^@^P*^C(<80>ñ^\^@<83>úΰ^L^@^@%Þ6_<9a>Xÿ§^M^@B^@^@^@B^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@4¥^Y@^@T^F?i^_^M]$À¨^Eh^A»<8c> 3Ȩ^S<96><96>å¾<80>^P^BtU¿^@^@^A^A^H$
^FÊ^N<91>^@^OàQ6_<9a>X6ª^M^@l^@^@^@l^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@^¥^Z@^@T^F?>^_^M]$À¨^Eh^A»<8c> 3Ȩ^S<96><96>å¾<80>^X^BtØÜ^@^@^A^A^H$
^FÊ^N<91>^@^OàQ^W^C^C^@%?@´ò5ãù<99>eË<98>óQ´ÚA<97>&µuî^NÞ^P:/×:âù7é<8e>,º¡Ñ6_<9a>XCª^M^@B^@^@^@B^@^@^@Än^_«2´HZ¶^úM^H^@E^@^@4h©@^@@^F<8f>ÙÀ¨^Eh^_^M]$<8c> ^A»<96><96>è·3Ȩ=<80>^P$
ºJC^@^@^A^A^H$
^@^Oàd^FÊ^N<91>6_<9a>X^U^N^@B^@^@^@B^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@4¥^[@^@T^F?g^_^M]$À¨^Eh^A»<8c> 3Ȩ=<96><96>è·<80>^P^B^?Rd^@^@^A^A^H$
^FÊ^N¾^@^OàQ6_<9a>X¨j^N^@}^A^@^@}^A^@^@HZ¶^úMÄn^_«2´^H^@E^@^Ao¥^\@^@T^F>+^_^M]$À¨^Eh^A»<8c> 3Ȩ=<96><96>è·<80>^X^B^?í^Z^@^@^A^A^H$
^FÊ^N¾^@^OàQ^W^C^C^A6?@´ò5ãù<9a>a%YRimY78#<8c><95>$Wn<9b><85> 5^^í^?Âì<^F.÷óÉ^MØ<88>¯è<8c>deGÆ uR{û{Hì^R^Fv^]A¯<9b>öT¥^DF"úæ!·<90>º¤7I^Vy^CÏåºT^WÇé<ǧÐbÛ¦¾^@<85>^EãÞ"l^QiÂ<89>¼½^ü×A.ç1m²ÁÍ^]ùJªMwØ-?{<83>A0Bü~Ô½°ÜæÈú<9f>ðëªV<8d>^EA^Wú^Q*C+9ÙPÍy^Z><92>ó^[E¬y^]gótAº^E<8c>^MÕâ><9d>aÀ¶^@ñ>@«àÖç<97> a¼^E¤À¶Û½º5úé<8e>«<96>Ñ^@Nw<8f>µ{<96>Æ<91>ãÂM5å8&~^E <88>»Áh·ÌÙ¼^[¦<9c>¢v^@àøo/´ús^¿>ofC^[KGGH^S0þü^QÃÕê<97>È#Ú<95>^B<89>»¼c^GRv »Ù(Ñ°»·Yñ^KT<9f>Po^\<9e>ôÑ+×J¨<8c>2F6<9a>X¾j^N^@B^@^@^@B^ @^@^@Än^«2´HZ¶^úM^H^@E^@^@4hª@^@@^F<8f>ØÀ¨^Eh^^M ]$<8c> ^A»<96><96>è·3È©x<80>^P$
¸HÈ^@^@^A^A^H$
^@^Oàq^FÊ^N¾9_<9a>XFX^D^@L^@^@^@L^@^@^@Än^«2´HZ¶^úM^H^@E^ @^@>^Y¯@^@@^Q<95>BÀ¨^EhÀ¨^E^E»=^@5^@*9Ã<88>¦^A^@^@^A^@^@ ^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^A^@^A9<9a>XÿY^D^@L^@^@^@L^@^@^ @Än^«2´HZ¶^úM^H^@E^@^@>^Y°@^@@^Q<95>AÀ¨^EhÀ¨^E^E^Uá^@ 5^@*C<86>$%^A^@^@^A^@^@^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^@^A9<9a>X^D^@ª^@^@^@ª^@^@^@Än^«2´HZ¶^úM^H^@E^@ ^@<9c>h«@^@@^F<8f>oÀ¨^Eh^^M]$<8c> ^A»<96><96>è·3È©x<80> ^X$
º,6^@^@^A^A^H$
^@^Oâº^FÊ^N¾^W^C^C^@c^@^@^@^@^@^@^@H²ñ<9f>À^QU:<9a>^L<94>M8Ïãî·Àº <91>D<95>íZ©Tõà.$[À^Xðo·^Wg^E^^Ú^N^¬<8d>/z>Èo¾t^UÕ^P'õR^FÑþÜâ^TjÚ <98> Df(6<8e>¯GØúî%^X6Xòô^K¤»b<8b>`^!9<9a>X^^b^D^@<85> ^@^@^@<85>^@^@^@HZ¶^úMÄn^«2´^H^@E^@^@w^@^@@^@?^Q¯¯ À¨^E^EÀ¨^Eh^@5»=^@cÊø<88>¦<81><80>^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^ @^@^A^@^AÀ^L^@^E^@^A^@^@^K<87>^@^]^Istar-mini^Dc10r^Hfacebook^Ccom^@À.^@^A ^@^A^@^@^@:^@^D^^M]$9_<9a>X<92>c^D^@<91>^@^@^@<91> ^@^@^@HZ¶^úMÄn^«2´^H^@E^@^@<83>^@^@@^@?^Q¯¬À¨^E^EÀ¨ ^Eh^@5^Uá^@o!^K$%<81><80>^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^ @^AÀ^L^@^E^@^A^@^@^K<87>^@^]^Istar-mini^Dc10r^Hfacebook^Ccom^@À.^@^\^@^A^@ ^@^@^[^@^P*^C(<80>ñ^\^@<83>úΔ^L^@^@%Þ9<9a>X<9d>d^D ^@?^C^@^@?^C^@^@Än^«2´HZ¶^úM^H^@E^@^C1h¬@^@@^F<8c>ÙÀ ¨^Eh^^M]$<8c> ^A»<96><96>é^_3È©x<80>^X$
º<9c><94>^@^@^A^A^H$
可能是什么问题？
我应该在 hadoop 中使用特定的文件格式吗？
您的文件包含 control characters 并且编辑器以不同方式显示控制字符。
在 vi 编辑器中打开文件，输入命令 :set list。它将显示所有控制字符，然后您将控制字符替换为人类可读的字符。
您可以尝试在 vi 中替换控制字符(%x001,%x002,%x00):
:%s/\%x001/,/g
或使用tr命令替换
tr '\001' ',' < input_file_name >output_file_name
我手动将日志文件从 snort 上传到 hadoop，当我在 hadoop 中打开它时，它以这种未知格式出现：
" �ò"
当我在 vi 中打开它时，它以这种方式显示：
º^_'^@^@^A^A^H$
^@^OàQ^FÉ-ü^W^C^C^Bô^@^@^@^@^@^@^@G/~f¬!®x^_5^N©^TÓ b$
^Q5¦9<85>^[ÍjEñ<83><95>2×@£,æcÖj<82><8a>Ã<84>üá^Dá^A%^B¯·ìB?²* ýµ<9e> fÐvÈ^ETiÍ<98>¹m<98>^BOæyá5«ÕÝ8S<88>¨>à^^ûÝ^T<87><89>üF~ù<9a>X<9b>4^Oá%·Ú3½^K< 8f>^Bdº<94>rT<8e>K<94><8e>ÅÌÄ<8d>_ȱ^_Ð^W^OF<94>+¬ß+_6^Tÿ<93>!L>²^G< 9b>S]^OüsK^QzY^R]Âòß^D¯ §$
^Aì#_Öv_Ú]ì^Z+2»8<9b>l åñ/^Ov$
<94>î·N/e*7ôø/yâ|x^T<80>©L<9f>Ulç(óõ^R.<9f>÷È<86>"<8f>Ô<8e>üB< 9f>^^E3^Q<92>²¸mdRê<89>úÝ<80>Àóàzcr^Sa0^Q^LS<8d>ïü{DJ¬»zÉ÷ð<98>½<9c> Cxè^^<9a>q^S<84>Ó?´üÓv^LAâ3â<95>ò$<96>¸ <85>Æ(Ö<9d>Ã)<86>óI65^^®|^Hnp~^ ？$
N¾ök\,ü«ßàÌ)^Bò<9c>£b^Qª<8a>ãö<80><89>ûó<91>þ¿^<9b>põy<89>ã+^^ ^^Ü^@}o9"W<82> ·^U<93>MϽ:ÕuGA.^\^RR^Q^X»æ<85><9e>ñÀóð;^T4IJ^WÅÝ<99>^N!^ºV<81>{QYÁ<9b>0¸^Z^ú^T^U^[Nù¤<8e>JuCÐ<9a>0)N6å¾í<96>'ᡨu<9e>=½<8e>tݧ¨Dºÿ<93><9b>^PÓ^K9<92>5Èg<8b>õ8<8e>,»dÊÀA§ä^R+^Pɺ^Q3(°<97>ëQÂÚIFÉ^Nø<98><8d>ÈÚ4gçTg9²iÛ·Ñ1<97><86>®^OMu^O²^YßÙ+^XÂ,<8f>^ZÊë8h<90>+ú^@<9f>%ÚÃ<8d>\¹<87> ï¯#Lú<9e>y{ý!^Z'bH^C<89>ù÷8;¾d<83>=Aæ©}¸0L<8d>Wß<9d>'L)<80><86>×<86>^@Ï +ÈÔ<89>Ó×^Na^WG6^G<8c>¯iu¯ûÇd"{Ͻ¬<8d>^^^M=<82>2H<87>r5ì1^ZÐ^A^WÌ<96>#t'ý^Z^W¤öR ´ÿ<8d>(ågójîÓ<91>ßÈ+^_}ÆJ<93>XSJZNµãµ"<83>ñq<8d><9f><81><99>Ö(¤-^SpÒ6<9c>b<94> 1ÅiU<9b>½o<91><92>pb<8c>ã|^Bc¾g2^FÅC¶a÷¡<8f><83>^_Ï,¥g$
Å*yªu^G½'<98>îwátA^T@È6_<9a>Xá<90>^L^@y^@^@^@y^@^@^@HZ¶^úMÄn^« 2´^H^@E^@^@k^@^@@^@?^Q¯ÄÀ¨^E^EÀ¨^Eh^@5@÷^@WU<81>t@<81><80 >^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^A^@^AÀ^L^@^E^@^A^@^@^K< 89>^@^Q^Istar-mini^Dc10rÀ^PÀ.^@^A^@^A^@^@^@<^@^D^^M]$6_<9a>XD< 9d>^L^@<85>^@^@^@<85>^@^@^@HZ¶^úMÄn^«2´^H^@E^@^@w^@^ @@^@?^Q¯¯À¨^E^EÀ¨^Eh^@5<89>^@c¹n<õ<81><80>^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^@^AÀ^L^@^E^@^A^@^@^K<89>^@^Q^Istar-mini^Dc10rÀ^PÀ.^@^\^@^A^@^@^@^]^@^P*^C(<80>ñ^\^@<83>úΰ^L^@^@%Þ6_<9a>Xÿ§^M^@B^@^@^@B^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@4¥^Y@^@T^F?i^_^M]$À¨^Eh^A»<8c> 3Ȩ^S<96><96>å¾<80>^P^BtU¿^@^@^A^A^H$
^FÊ^N<91>^@^OàQ6_<9a>X6ª^M^@l^@^@^@l^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@^¥^Z@^@T^F?>^_^M]$À¨^Eh^A»<8c> 3Ȩ^S<96><96>å¾<80>^X^BtØÜ^@^@^A^A^H$
^FÊ^N<91>^@^OàQ^W^C^C^@%?@´ò5ãù<99>eË<98>óQ´ÚA<97>&µuî^NÞ^P:/×:âù7é<8e>,º¡Ñ6_<9a>XCª^M^@B^@^@^@B^@^@^@Än^_«2´HZ¶^úM^H^@E^@^@4h©@^@@^F<8f>ÙÀ¨^Eh^_^M]$<8c> ^A»<96><96>è·3Ȩ=<80>^P$
ºJC^@^@^A^A^H$
^@^Oàd^FÊ^N<91>6_<9a>X^U^N^@B^@^@^@B^@^@^@HZ¶^úMÄn^_«2´^H^@E^@^@4¥^[@^@T^F?g^_^M]$À¨^Eh^A»<8c> 3Ȩ=<96><96>è·<80>^P^B^?Rd^@^@^A^A^H$
^FÊ^N¾^@^OàQ6_<9a>X¨j^N^@}^A^@^@}^A^@^@HZ¶^úMÄn^_«2´^H^@E^@^Ao¥^\@^@T^F>+^_^M]$À¨^Eh^A»<8c> 3Ȩ=<96><96>è·<80>^X^B^?í^Z^@^@^A^A^H$
^FÊ^N¾^@^OàQ^W^C^C^A6?@´ò5ãù<9a>a%YRimY78#<8c><95>$Wn<9b><85> 5^^í^?Âì<^F.÷óÉ^MØ<88>¯è<8c>deGÆ uR{û{Hì^R^Fv^]A¯<9b>öT¥^DF"úæ!·<90>º¤7I^Vy^CÏåºT^WÇé<ǧÐbÛ¦¾^@<85>^EãÞ"l^QiÂ<89>¼½^ü×A.ç1m²ÁÍ^]ùJªMwØ-?{<83>A0Bü~Ô½°ÜæÈú<9f>ðëªV<8d>^EA^Wú^Q*C+9ÙPÍy^Z><92>ó^[E¬y^]gótAº^E<8c>^MÕâ><9d>aÀ¶^@ñ>@«àÖç<97> a¼^E¤À¶Û½º5úé<8e>«<96>Ñ^@Nw<8f>µ{<96>Æ<91>ãÂM5å8&~^E <88>»Áh·ÌÙ¼^[¦<9c>¢v^@àøo/´ús^¿>ofC^[KGGH^S0þü^QÃÕê<97>È#Ú<95>^B<89>»¼c^GRv »Ù(Ñ°»·Yñ^KT<9f>Po^\<9e>ôÑ+×J¨<8c>2F6<9a>X¾j^N^@B^@^@^@B^ @^@^@Än^«2´HZ¶^úM^H^@E^@^@4hª@^@@^F<8f>ØÀ¨^Eh^^M ]$<8c> ^A»<96><96>è·3È©x<80>^P$
¸HÈ^@^@^A^A^H$
^@^Oàq^FÊ^N¾9_<9a>XFX^D^@L^@^@^@L^@^@^@Än^«2´HZ¶^úM^H^@E^ @^@>^Y¯@^@@^Q<95>BÀ¨^EhÀ¨^E^E»=^@5^@*9Ã<88>¦^A^@^@^A^@^@ ^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^A^@^A9<9a>XÿY^D^@L^@^@^@L^@^@^ @Än^«2´HZ¶^úM^H^@E^@^@>^Y°@^@@^Q<95>AÀ¨^EhÀ¨^E^E^Uá^@ 5^@*C<86>$%^A^@^@^A^@^@^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^@^A9<9a>X^D^@ª^@^@^@ª^@^@^@Än^«2´HZ¶^úM^H^@E^@ ^@<9c>h«@^@@^F<8f>oÀ¨^Eh^^M]$<8c> ^A»<96><96>è·3È©x<80> ^X$
º,6^@^@^A^A^H$
^@^Oâº^FÊ^N¾^W^C^C^@c^@^@^@^@^@^@^@H²ñ<9f>À^QU:<9a>^L<94>M8Ïãî·Àº <91>D<95>íZ©Tõà.$[À^Xðo·^Wg^E^^Ú^N^¬<8d>/z>Èo¾t^UÕ^P'õR^FÑþÜâ^TjÚ <98> Df(6<8e>¯GØúî%^X6Xòô^K¤»b<8b>`^!9<9a>X^^b^D^@<85> ^@^@^@<85>^@^@^@HZ¶^úMÄn^«2´^H^@E^@^@w^@^@@^@?^Q¯¯ À¨^E^EÀ¨^Eh^@5»=^@cÊø<88>¦<81><80>^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^ @^@^A^@^AÀ^L^@^E^@^A^@^@^K<87>^@^]^Istar-mini^Dc10r^Hfacebook^Ccom^@À.^@^A ^@^A^@^@^@:^@^D^^M]$9_<9a>X<92>c^D^@<91>^@^@^@<91> ^@^@^@HZ¶^úMÄn^«2´^H^@E^@^@<83>^@^@@^@?^Q¯¬À¨^E^EÀ¨ ^Eh^@5^Uá^@o!^K$%<81><80>^@^A^@^B^@^@^@^@^Cwww^Hfacebook^Ccom^@^@^\^ @^AÀ^L^@^E^@^A^@^@^K<87>^@^]^Istar-mini^Dc10r^Hfacebook^Ccom^@À.^@^\^@^A^@ ^@^@^[^@^P*^C(<80>ñ^\^@<83>úΔ^L^@^@%Þ9<9a>X<9d>d^D ^@?^C^@^@?^C^@^@Än^«2´HZ¶^úM^H^@E^@^C1h¬@^@@^F<8c>ÙÀ ¨^Eh^^M]$<8c> ^A»<96><96>é^_3È©x<80>^X$
º<9c><94>^@^@^A^A^H$
可能是什么问题？ 我应该在 hadoop 中使用特定的文件格式吗？
您的文件包含 control characters 并且编辑器以不同方式显示控制字符。
在 vi 编辑器中打开文件，输入命令 :set list。它将显示所有控制字符，然后您将控制字符替换为人类可读的字符。
您可以尝试在 vi 中替换控制字符(%x001,%x002,%x00):
:%s/\%x001/,/g
或使用tr命令替换
tr '\001' ',' < input_file_name >output_file_name