����JFIF���������
1#@!#!123s
D7net
Home
Console
Upload
information
Create File
Create Folder
About
Tools
:
/
opt
/
saltstack
/
salt
/
extras-3.10
/
chardet
/
__pycache__
/
Filename :
chardistribution.cpython-310.pyc
back
Copy
o �����<�f0'����������������������@���s��d�dl�mZmZ�ddlmZmZmZ�ddlmZm Z m Z �ddlmZm Z mZ�ddlmZmZmZ�ddlmZmZmZ�ddlmZ�G�d d ��d �ZG�dd��de�ZG�d d��de�ZG�dd��de�ZG�dd��de�ZG�dd��de�ZG�dd��de�ZG�dd��de�Z dS�)�����)�Tuple�Union����)�BIG5_CHAR_TO_FREQ_ORDER�BIG5_TABLE_SIZE�BIG5_TYPICAL_DISTRIBUTION_RATIO)�EUCKR_CHAR_TO_FREQ_ORDER�EUCKR_TABLE_SIZE� EUCKR_TYPICAL_DISTRIBUTION_RATIO)�EUCTW_CHAR_TO_FREQ_ORDER�EUCTW_TABLE_SIZE� EUCTW_TYPICAL_DISTRIBUTION_RATIO)�GB2312_CHAR_TO_FREQ_ORDER�GB2312_TABLE_SIZE�!GB2312_TYPICAL_DISTRIBUTION_RATIO)�JIS_CHAR_TO_FREQ_ORDER�JIS_TABLE_SIZE�JIS_TYPICAL_DISTRIBUTION_RATIO)�JOHAB_TO_EUCKR_ORDER_TABLEc�������������������@���s����e�Zd�ZdZdZdZdZddd�Zdd d �Zde e ef�deddfd d�Z defdd�Zdefdd�Zde e ef�defdd�ZdS�)�CharDistributionAnalysisi���g�G�z��?g{�G�z�?�����returnNc�����������������C���s2���t���|�_d|�_d|�_d|�_d|�_d|�_|�����d�S�)Nr���g��������F)�tuple�_char_to_freq_order�_table_size�typical_distribution_ratio�_done�_total_chars�_freq_chars�reset��self��r"����;/opt/saltstack/salt/extras-3.10/chardet/chardistribution.py�__init__@���s���z!CharDistributionAnalysis.__init__c�����������������C���s���d|�_�d|�_d|�_dS�)zreset analyser, clear any stateFr���N)r���r���r���r ���r"���r"���r#���r���O���s��� zCharDistributionAnalysis.reset�char�char_lenc�����������������C���sd���|dkr |���|�}nd}|dkr,|��jd7��_||�jk�r.d|�j|�kr0|��jd7��_dS�dS�dS�dS�)z"feed a character with known length�������r���r���i���N)� get_orderr���r���r���r���)r!���r%���r&����orderr"���r"���r#����feedX���s��� �zCharDistributionAnalysis.feedc�����������������C���sT���|�j�dks|�j|�jkr|�jS�|�j�|�jkr'|�j|�j�|�j�|�j��}||�jk�r'|S�|�jS�)z(return confidence based on existing datar���)r���r����MINIMUM_DATA_THRESHOLD�SURE_NOr����SURE_YES)r!����rr"���r"���r#����get_confidencef���s���� z'CharDistributionAnalysis.get_confidencec�����������������C���s���|�j�|�jkS��N)r����ENOUGH_DATA_THRESHOLDr ���r"���r"���r#����got_enough_dataw���s���z(CharDistributionAnalysis.got_enough_data�_c�����������������C���s���dS�)Nr(���r"���)r!���r4���r"���r"���r#���r)���|���s���z"CharDistributionAnalysis.get_order�r���N)�__name__� __module__�__qualname__r2���r.���r-���r,���r$���r���r����bytes� bytearray�intr+����floatr0����boolr3���r)���r"���r"���r"���r#���r���:���s���� r���c������������������������8���e�Zd�Zd��fdd�Zdeeef�defdd�Z���Z S�) �EUCTWDistributionAnalysisr���Nc��������������������� ���t�������t|�_t|�_t|�_d�S�r1���)�superr$���r���r���r���r���r ���r���r ����� __class__r"���r#���r$����������� z"EUCTWDistributionAnalysis.__init__�byte_strc�����������������C����,���|d�}|dkrd|d��|d��d�S�dS�)Nr���������^���r�������r(���r"����r!���rE���� first_charr"���r"���r#���r)�����������z#EUCTWDistributionAnalysis.get_orderr5���� r6���r7���r8���r$���r���r9���r:���r;���r)���� __classcell__r"���r"���rB���r#���r?������������"r?���c�����������������������r>���) �EUCKRDistributionAnalysisr���Nc��������������������r@���r1����rA���r$���r���r���r ���r���r ���r���r ���rB���r"���r#���r$�������rD���z"EUCKRDistributionAnalysis.__init__rE���c�����������������C���rF���)Nr�������rH���r���rI���r(���r"���rJ���r"���r"���r#���r)�������rL���z#EUCKRDistributionAnalysis.get_orderr5���rM���r"���r"���rB���r#���rP�������rO���rP���c�����������������������r>���) �JOHABDistributionAnalysisr���Nc��������������������r@���r1���rQ���r ���rB���r"���r#���r$�������rD���z"JOHABDistributionAnalysis.__init__rE���c�����������������C���sB���|d�}d|��krdk�rn�dS�|d�|d��}t��|d�S�dS�)Nr����������������r���r(���)r����get)r!���rE���rK����coder"���r"���r#���r)�������s����z#JOHABDistributionAnalysis.get_orderr5���rM���r"���r"���rB���r#���rS�������rO���rS���c�����������������������r>���) �GB2312DistributionAnalysisr���Nc��������������������r@���r1���)rA���r$���r���r���r���r���r���r���r ���rB���r"���r#���r$�������rD���z#GB2312DistributionAnalysis.__init__rE���c�����������������C���s:���|d�|d�}}|dkr|dkrd|d��|�d�S�dS�)Nr���r���rR���rI���rH���r(���r"����r!���rE���rK����second_charr"���r"���r#���r)�������s���z$GB2312DistributionAnalysis.get_orderr5���rM���r"���r"���rB���r#���rY�������rO���rY���c�����������������������r>���) �Big5DistributionAnalysisr���Nc��������������������r@���r1���)rA���r$���r���r���r���r���r���r���r ���rB���r"���r#���r$�������rD���z!Big5DistributionAnalysis.__init__rE���c�����������������C���sR���|d�|d�}}|dkr'|dkrd|d��|�d�d�S�d|d��|�d�S�dS�) Nr���r�������rI��������?����@���r(���r"���rZ���r"���r"���r#���r)�������s���z"Big5DistributionAnalysis.get_orderr5���rM���r"���r"���rB���r#���r\�������rO���r\���c�����������������������r>���) �SJISDistributionAnalysisr���Nc��������������������r@���r1����rA���r$���r���r���r���r���r���r���r ���rB���r"���r#���r$�������rD���z!SJISDistributionAnalysis.__init__rE���c�����������������C���s����|d�|d�}}d|��krdkrn�nd|d��}nd|��kr&dkr2n�d S�d|d�d��}nd S�||�d �}|dkr@d }|S�)Nr���r�����������������������������r(���r`�������r"���)r!���rE���rK���r[���r*���r"���r"���r#���r)�������s����z"SJISDistributionAnalysis.get_orderr5���rM���r"���r"���rB���r#���ra�������rO���ra���c�����������������������r>���) �EUCJPDistributionAnalysisr���Nc��������������������r@���r1���rb���r ���rB���r"���r#���r$�������rD���z"EUCJPDistributionAnalysis.__init__rE���c�����������������C���s,���|d�}|dkrd|d��|d��d�S�dS�)Nr�������rH���rI���r���r(���r"���)r!���rE���r%���r"���r"���r#���r)�������rL���z#EUCJPDistributionAnalysis.get_orderr5���rM���r"���r"���rB���r#���rj�������rO���rj���N)!�typingr���r����big5freqr���r���r���� euckrfreqr���r ���r ���� euctwfreqr���r���r ���� gb2312freqr���r���r����jisfreqr���r���r���� johabfreqr���r���r?���rP���rS���rY���r\���ra���rj���r"���r"���r"���r#����<module>���s���J