Bật Mí Top 10+ 8 ký tự là gì [Đánh Giá Cao]

Khi sử dụng các trang được mã hóa UTF-8 trong một số tác nhân người dùng, bạn nhận được thêm một dòng hoặc các ký tự… bài viết này sẽ viết bài viết Utf-8 là gì?. Vậy Utf-8 là gì?

Giới thiệu

Kể từ FME 2022.0, FME sẽ xử lý tất cả không gian làm việc bằng UTF-8 làm mã hóa cho hầu hết dữ liệu chuỗi khi chạy trên Windows 10+ hoặc Windows Server 2019+; điều này sẽ cho phép FME thực thi các không gian làm việc được tạo ở các ngôn ngữ khác nhau và sẽ giúp giảm thiểu các vấn đề về ngôn ngữ. Các không gian làm việc hiện có được tạo trước FME 2022.0 Sẽ tiếp tục chạy như trước nếu chạy trên cùng một ngôn ngữ mà chúng được tạo ban đầu.

Lưu ý rằng hệ thống Linux và macOS sử dụng mã hóa mặc định của UTF-8 để chúng tôi không mong đợi sự thay đổi về hành vi giữa không gian làm việc cũ và mới được tạo trên các nền tảng đó. FME 2022.0 sẽ cố gắng sử dụng UTF-8 làm mã hóa quy trình FME, miễn là phiên bản hệ điều hành Windows hỗ trợ đặt ngôn ngữ thành UTF-8.

UTF-8 là gì?

UTF-8 là một định dạng Chuyển đổi Unicode sử dụng các khối 8 bit để biểu diễn một ký tự.

Ký tự ở đây chỉ các chữ cái trong bảng chữ cái, số và giá trị số, dấu câu, ký hiệu đặc biệt (tiền tệ, ký hiệu toán học, biểu tượng cảm xúc …).

Kể từ năm 2009, UTF-8 đã là mã hóa thống trị (dưới bất kỳ hình thức nào, không chỉ mã hóa Unicode) cho Internet và tính đến tháng 3 năm 2020, chiếm 95,0% tất cả các trang web.

Mã hóa ký tự

Mã hóa ký tự là một điểm thông tin bắt buộc đối với bất kỳ ai có kế hoạch tạo nội dung bên ngoài các ngôn ngữ sử dụng các ký tự cơ bản trong bảng chữ cái Latinh.

Máy tính lưu trữ các ký tự dưới dạng các byte đơn lẻ hoặc nhóm. Mã hóa ký tự là cách các byte (ký tự) này được hiển thị.

Điều quan trọng là phải phân biệt giữa phông chữ và mã hóa ký tự – mặc dù bạn có thể có mã hóa ký tự thích hợp trong tay, nhưng phông chữ đã chọn có thể không hiển thị ký tự thích hợp và thay vào đó cung cấp các biểu tượng không thể đọc được, chẳng hạn như hình vuông trống, dấu hỏi, v.v.

Khái niệm cơ bản về ASCII

Ban đầu có ASCII – Bộ luật trao đổi thông tin tiêu chuẩn của Mỹ. ASCII là một tiêu chuẩn mã hóa ký tự cho giao tiếp kỹ thuật số. ASCII bao gồm các ký tự cơ bản, dấu câu, số và chữ cái có trong bảng chữ cái tiếng Anh.

Tuy nhiên, khi Internet mở rộng hơn nữa từ những điều cơ bản của ngôn ngữ tiếng Anh, hàng tỷ người dùng đã ít sử dụng các ký tự Latinh để truy cập nội dung có liên quan và ASCII đã thành công nhờ mã hóa các ký tự mới.

Thật hữu ích khi biết rằng 256 điểm mã đầu tiên (số duy nhất cho mỗi ký tự) của ASCII, ISO-8859 và UTF-8 là giống hệt nhau. Mặc dù ISO-8859 cung cấp phạm vi bảo hiểm của hầu hết các ngôn ngữ sử dụng chữ viết Ả Rập, UTF-8 còn mở rộng hơn nữa và bao gồm hầu hết các ngôn ngữ sống và chữ viết trên thế giới.

Cách máy tính lưu trữ thông tin

Để lưu trữ thông tin, máy tính sử dụng một hệ thống nhị phân. Trong hệ nhị phân, tất cả dữ liệu được biểu diễn theo chuỗi 1s và 0s. Đơn vị cơ bản nhất của nhị phân là bit , chỉ là một đơn vị 1 hoặc 0. Đơn vị lớn nhất tiếp theo của nhị phân, một byte, bao gồm 8 bit. Ví dụ về byte là “01101011”.

Mọi tài sản kỹ thuật số bạn từng gặp – từ phần mềm đến ứng dụng dành cho thiết bị di động, trang web đến câu chuyện trên Instagram – đều được xây dựng trên hệ thống byte này, được kết nối với nhau theo cách phù hợp với máy tính. Khi chúng tôi đề cập đến kích thước tệp, chúng tôi đang đề cập đến số byte. Ví dụ, một kilobyte là khoảng một nghìn byte, và một gigabyte là khoảng một tỷ byte.

Văn bản là một trong nhiều tài sản mà máy tính lưu trữ và xử lý. Văn bản được tạo thành từ các ký tự riêng lẻ, mỗi ký tự được biểu diễn trong máy tính bằng một chuỗi bit. Các chuỗi này được ghép lại để tạo thành các từ kỹ thuật số, câu, đoạn văn, tiểu thuyết lãng mạn, v.v.

Chuyển đổi các biểu tượng sang nhị phân

Mã tiêu chuẩn Hoa Kỳ để trao đổi thông tin (ASCII) là một hệ thống mã hóa được tiêu chuẩn hóa ban đầu cho văn bản. Mã hóa là quá trình chuyển đổi các ký tự trong ngôn ngữ của con người thành các chuỗi nhị phân mà máy tính có thể xử lý.

Thư viện của ASCII bao gồm mọi chữ cái viết hoa và viết thường trong bảng chữ cái Latinh (A, B, C…), mọi chữ số từ 0 đến 9 và một số ký hiệu thông dụng (như /,!, Và?). Nó gán cho mỗi ký tự này một mã ba chữ số duy nhất và một byte duy nhất.

Bảng ký tự ASCII với các mã và byte

TÍNH CÁCH MÃ ASCII BYTE Một 065 01000001 một 097 01100001 B 066 01000010 b 098 01100010 Z 090 01011010 z 122 01111010 0 048 00110000 9 057 00111001 ! 033 00100001 ? 063 00111111

Cũng giống như các ký tự kết hợp với nhau để tạo thành từ và câu trong ngôn ngữ, mã nhị phân làm như vậy trong tệp văn bản. Vì vậy, câu “Cáo nâu nhanh chóng nhảy qua con chó lười biếng.” được biểu diễn dưới dạng nhị phân ASCII sẽ là:

Các hệ thống mới được tạo ra để ánh xạ các ngôn ngữ

Số lượng ký tự mà ASCII có thể đại diện được giới hạn ở số byte duy nhất có sẵn, vì mỗi ký tự nhận được một byte. Nếu bạn làm phép toán, bạn sẽ thấy rằng có 256 cách khác nhau để nhóm tám chữ số 1 và số 0 với nhau. Điều này cho chúng ta 256 byte khác nhau hoặc 256 cách để biểu diễn một ký tự trong ASCII. Khi ASCII được giới thiệu vào năm 1960, điều này không sao cả, vì các nhà phát triển chỉ cần 128 byte để đại diện cho tất cả các ký tự và ký hiệu tiếng Anh mà họ cần.

Tuy nhiên, khi máy tính mở rộng ra toàn cầu, các hệ thống máy tính bắt đầu lưu trữ văn bản bằng các ngôn ngữ bên cạnh tiếng Anh, nhiều ngôn ngữ trong số đó sử dụng các ký tự không phải ASCII. Các hệ thống mới được tạo ra để ánh xạ các ngôn ngữ khác vào cùng một tập hợp 256 byte duy nhất, nhưng có nhiều hệ thống mã hóa không hiệu quả và khó hiểu. Các nhà phát triển cần một cách tốt hơn để mã hóa tất cả các ký tự có thể có bằng một hệ thống.

Một cách để lưu trữ mọi kí tự

Nhập Unicode, một hệ thống mã hóa giải quyết vấn đề không gian của ASCII. Giống như ASCII, Unicode gán một mã duy nhất, được gọi là điểm mã , cho mỗi ký tự. Tuy nhiên, hệ thống phức tạp hơn của Unicode có thể tạo ra hơn một triệu điểm mã, quá đủ để tính cho mọi ký tự trong bất kỳ ngôn ngữ nào.

Unicode hiện là tiêu chuẩn chung để mã hóa tất cả các ngôn ngữ của con người. Và vâng, nó thậm chí còn bao gồm cả biểu tượng cảm xúc .

Ưu điểm UTF-8 là gì?

Dưới đây là một số ưu điểm của UTF-8:

• UTF-8 có thể được đọc và ghi nhanh chóng chỉ với các thao tác bit-mask và bit-shift.
• So sánh hai chuỗi ký tự trong C / C ++ với strcmp () cho kết quả tương tự như wcscmp (), do đó thứ tự sắp xếp địa lý và tìm kiếm cây được giữ nguyên.
• Các byte FF và FE không bao giờ xuất hiện trong đầu ra UTF-8, vì vậy chúng có thể được sử dụng để biểu thị văn bản UTF-16 hoặc UTF-32
• UTF-8 độc lập với thứ tự byte. Thứ tự byte giống nhau trên tất cả các hệ thống.

Nhược điểm UTF-8 là gì?

UTF-8 có một số nhược điểm:

• Bạn không thể xác định số byte của văn bản UTF-8 từ số ký tự UNICODE vì UTF-8 sử dụng mã hóa độ dài thay đổi.
• Nó cần 2 byte cho các ký tự không phải Latinh được mã hóa chỉ trong 1 byte với các bộ ký tự ASCII mở rộng.
• ISO Latin-1, một tập con của UNICODE, không phải là một tập con của UTF-8.
• Các ký tự 8-bit của UTF-8 bị loại bỏ bởi nhiều cổng thư vì thư Internet ban đầu được thiết kế dưới dạng ASCII 7-bit. Vấn đề đã dẫn đến việc tạo ra UTF-7.
• UTF-8 sử dụng các giá trị 100xxxxx trong hơn 50% biểu thị của nó, nhưng việc triển khai hiện tại của hệ thống ISO 2022, 4873, 6429 và 8859 nhầm những giá trị này là mã điều khiển C1. Vấn đề đã dẫn đến việc tạo ra UTF-7,5.

UTF-8 được sửa đổi

Java sử dụng UTF-16 cho biểu diễn văn bản nội bộ và hỗ trợ sửa đổi không theo tiêu chuẩn của UTF-8 để tuần tự hóa chuỗi. Có hai điểm khác biệt giữa tiêu chuẩn và UTF-8 được sửa đổi:

• Trong UTF-8 được sửa đổi, ký tự null (U + 0000) được mã hóa bằng hai byte (11000000 10000000) thay vì chỉ một (00000000), điều này đảm bảo rằng không có giá trị nào được nhúng trong chuỗi mã hóa (để nếu chuỗi được xử lý bằng ngôn ngữ giống C, văn bản không bị cắt ngắn thành ký tự rỗng đầu tiên).
• Trong UTF-8 tiêu chuẩn, các ký tự bên ngoài BMP (Basic Multilingual Plain) được mã hóa bằng cách sử dụng định dạng 4 byte, nhưng trong UTF-8 đã sửa đổi, chúng được biểu thị dưới dạng các cặp thay thế và sau đó các cặp thay thế được mã hóa riêng lẻ theo trình tự. Do đó, các ký tự yêu cầu 4 byte trong UTF-8 tiêu chuẩn yêu cầu 6 byte trong UTF-8 đã sửa đổi.

Cách sử dụng UTF-8 trong các trang web của bạn – Ví dụ HTML UTF-8

Và bây giờ là phần dễ dàng. Bạn thực sự không cần biết nó hoạt động như thế nào (mặc dù tôi sẽ cho bạn biết trong giây lát.) Bạn có thể định cấu hình Mã hóa ký tự UTF-8 trong mã HTML của mình bằng một dòng HTML duy nhất nằm trong <head>phần mã của bạn:

<!DOCTYPE html>

<html>

<head>

<meta charset=”utf-8“>

</head>

</html>

Với điều đó, hãy để tôi giải thích cách UTF-8 hoạt động và tại sao nó là một sơ đồ mã hóa tuyệt vời như vậy.

Cách mã hóa UTF-8 hoạt động và dung lượng lưu trữ mà mỗi ký tự sử dụng

Khi biểu diễn các ký tự trong UTF-8, mỗi điểm mã được biểu diễn bằng một chuỗi gồm một hoặc nhiều byte. Số byte được sử dụng phụ thuộc vào điểm mã được biểu diễn bởi ký tự.

• các điểm mã trong dải ASCII (0-127) được biểu thị bằng một byte đơn
• các điểm mã trong phạm vi (128-2047) được biểu thị bằng hai byte
• các điểm mã trong phạm vi (2048-65535) được biểu thị bằng ba byte
• và các điểm mã trong phạm vi (65536-1114111) được biểu thị bằng bốn byte. (Điều này có vẻ giống như rất nhiều ký tự khả thi, nhưng hãy nhớ rằng chỉ riêng trong tiếng Trung Quốc, đã có 100.000 ký tự.)

Byte đầu tiên của chuỗi UTF-8 được gọi là “byte dẫn đầu”.

Byte trưởng cung cấp thông tin về có bao nhiêu byte trong chuỗi và giá trị điểm mã của ký tự là bao nhiêu.

Byte dẫn đầu cho một chuỗi byte đơn luôn nằm trong phạm vi (0-127). Byte hàng đầu cho một chuỗi hai byte nằm trong phạm vi (194-223). Byte dẫn đầu cho một chuỗi ba byte nằm trong khoảng (224-239). Và byte dẫn đầu cho một chuỗi bốn byte nằm trong khoảng (240-247).

Các byte còn lại trong chuỗi được gọi là “byte theo sau”. Các byte theo sau cho một chuỗi hai byte nằm trong phạm vi (128-191). Các byte theo sau cho một chuỗi ba byte nằm trong phạm vi (128-191). Và các byte theo sau cho một chuỗi bốn byte nằm trong khoảng (128-191).

Bạn có thể tính toán giá trị điểm mã của một ký tự bằng cách xem byte đầu và các byte theo sau. Đối với một chuỗi byte đơn, giá trị điểm mã bằng giá trị của byte dẫn đầu.

Đối với chuỗi hai byte, giá trị điểm mã bằng ((byte đầu – 194) * 64) + (byte cuối – 128).

Đối với chuỗi ba byte, giá trị điểm mã bằng ((byte dẫn đầu – 224) * 4096) + ((byte cuối1 – 128) * 64) + (byte cuối2 – 128).

Đối với chuỗi bốn byte, giá trị điểm mã bằng ((byte đầu – 240) * 262144) + ((byte cuối1 – 128) * 4096) + ((byte cuối2 – 128) * 64) + (byte cuối 3 – 128).

UTF-8 là một lựa bậc nhất để mã hóa

Một lần nữa, UTF-8 là một hệ thống mã hóa siêu hiệu quả. Nó có thể đại diện cho một loạt các ký tự trong khi vẫn tương thích với ASCII. Điều này làm cho nó trở thành một lựa chọn hợp lý để sử dụng trong phần mềm quốc tế hóa.

UTF-8 dưới dạng bộ ký tự Unicode: một tiêu chuẩn cho tất cả các ngôn ngữ

Mã hóa UTF-8 là một định dạng chuyển đổi trong tiêu chuẩn Unicode . Tiêu chuẩn quốc tế ISO 10646 định nghĩa Unicode trong các phần lớn dưới tên “Bộ ký tự được mã hóa chung”. Các nhà phát triển Unicode giới hạn các tham số nhất định cho mục đích sử dụng thực tế, nhằm đảm bảo việc mã hóa các ký tự và phần tử văn bản đồng nhất, tương thích trên toàn cầu. Khi được giới thiệu vào năm 1991, Unicode đã định nghĩa 24 hệ thống chữ viết hiện đại và các ký hiệu tiền tệ để xử lý dữ liệu. Vào tháng 6 năm 2017, có 139.

Tạo các điểm mã 1.114.112 có thể có . Ba định dạng đã được thiết lập: UTF-8, UTF-16 và UTF-32 . Các mã hóa khác, như UTF-7 hoặc SCSU, cũng có những ưu điểm của chúng, nhưng không thể tự thiết lập.

Unicode được chia thành 17 cấp độ

Mỗi cấp độ gồm 65.536 ký tự. Mỗi cấp độ bao gồm 16 cột và 16 hàng. Cấp độ đầu tiên, “ Mặt phẳng đa ngôn ngữ cơ bản ” (cấp độ 0) bao gồm một phần lớn hệ thống chữ viết hiện đang được sử dụng trên khắp thế giới, cũng như các dấu câu, ký tự điều khiển và ký hiệu. Năm cấp độ khác hiện cũng đang được sử dụng:

• “Mặt phẳng đa ngôn ngữ bổ sung” (cấp 1): hệ thống viết lịch sử, các ký tự hiếm khi được sử dụng
• “Mặt phẳng lý tưởng bổ sung” (cấp 2): các ký tự CJK hiếm (tiếng Trung, tiếng Nhật, tiếng Hàn)
• “Mặt phẳng mục đích đặc biệt bổ sung” (cấp 14): các ký tự kiểm tra cá nhân
• “Khu vực sử dụng riêng bổ sung – A” (cấp 15): sử dụng riêng
• “Khu vực sử dụng riêng bổ sung – B” (cấp 16): sử dụng riêng

Các bảng mã UTF cho phép truy cập vào tất cả các ký tự Unicode. Các thuộc tính tương ứng được khuyến nghị cho các lĩnh vực ứng dụng nhất định.

Các lựa chọn thay thế: UTF-32 và UTF-16

UTF-32 luôn hoạt động bằng cách sử dụng 32 bit, tức là 4 byte. Cấu trúc đơn giản làm tăng khả năng đọc của định dạng. Với các ngôn ngữ chủ yếu sử dụng bảng chữ cái Latinh và vì vậy chỉ có 128 ký tự đầu tiên, bảng mã sẽ chiếm nhiều bộ nhớ hơn mức cần thiết (4 byte thay vì 1).

UTF-16 đã trở thành một định dạng hiển thị trong các hệ điều hành như Apple macOS và Microsoft Windows, đồng thời cũng được sử dụng trong nhiều khuôn khổ phát triển phần mềm. Đây là một trong những UTF lâu đời nhất vẫn còn được sử dụng. Cấu trúc của nó đặc biệt thích hợp cho việc mã hóa tiết kiệm không gian của các ký tự giọng nói không phải tiếng Latinh. Hầu hết các ký tự có thể được biểu diễn bằng 2 byte (16 bit), chỉ có các ký tự hiếm có độ dài tăng gấp đôi lên 4 byte.

Hiệu quả và có thể mở rộng: UTF-8

UTF-8 bao gồm tối đa bốn chuỗi bit , mỗi chuỗi gồm 8 bit. Mặt khác, nó là ASCII tiền nhiệm , bao gồm một chuỗi bit với 7 bit. Cả hai mã xác định đồng thời 128 ký tự được mã hóa đầu tiên . Các ký tự, chủ yếu bắt nguồn từ thế giới nói tiếng Anh, sau đó mỗi ký tự được bao phủ bởi một byte. Đối với các ngôn ngữ có bảng chữ cái Latinh, định dạng này sử dụng không gian lưu trữ hiệu quả nhất. Hệ điều hành Unix và Linux sử dụng nó trong nội bộ. Tuy nhiên, UTF-8 đóng vai trò quan trọng nhất của nó khi nói đến các ứng dụng internet , cụ thể là trong việc biểu diễn văn bản trên internet hoặc trong e-mail.

Nhờ cấu trúc tự đồng bộ hóa , khả năng đọc được duy trì mặc dù độ dài mỗi ký tự có thể thay đổi. Nếu không có hạn chế Unicode, thì có thể gán ký tự (= 4.398.046.511.104) bằng UTF-8, vì giới hạn 4 byte trong Unicode thực sự là 221, là quá đủ. Khu vực Unicode thậm chí còn có các lớp trống cho nhiều hệ thống chữ viết khác. Việc chỉ định chính xác ngăn chặn sự chồng chéo điểm mã đã hạn chế giao tiếp trong quá khứ. Mặc dù UTF-16 và UTF-32 cũng cho phép ánh xạ chính xác, UFT-8 sử dụng không gian lưu trữ trong hệ thống chữ viết Latinh theo cách đặc biệt hiệu quả và được thiết kế để cho phép các hệ thống chữ viết khác nhau cùng tồn tại và được bảo vệ mà không gặp vấn đề gì. Điều này cho phép hiển thị đồng thời, có ý nghĩa trong một trường văn bản mà không gặp bất kỳ sự cố tương thích nào.

Chuyển đổi từ hệ thập lục phân Unicode sang nhị phân UTF-8

Máy tính chỉ đọc số nhị phân; con người sử dụng một hệ thống thập phân. Một giao diện giữa các hình thức này là hệ thống thập lục phân . Nó giúp làm cho các chuỗi bit dài trở nên nhỏ gọn. Nó sử dụng các số từ 0 đến 9 và các chữ cái từ A đến F và hoạt động dựa trên số 16.

Là lũy thừa thứ tư của 2, hệ thập lục phân phù hợp hơn để biểu thị phạm vi byte tám chữ số hơn hệ thập phân. Một chữ số thập lục phân là viết tắt của một nibble với octet. Sau đó, một byte có tám chữ số nhị phân chỉ có thể được biểu diễn bằng hai chữ số thập lục phân. Unicode sử dụng hệ thống thập lục phân để mô tả vị trí của một ký tự trong hệ thống của chính nó. Mã UTF-8 sau đó có thể được tính toán từ số nhị phân này.

Số nhị phân phải được chuyển đổi từ số thập lục phân

Sau đó, các điểm mã được lắp vào cấu trúc của bảng mã UTF-8. Để đơn giản hóa việc cấu trúc, hãy sử dụng tổng quan sau , cho biết có bao nhiêu điểm mã phù hợp với một chuỗi byte và cấu trúc mà bạn có thể mong đợi trong phạm vi giá trị Unicode.

Kích thước tính bằng byte Xác định các bit miễn phí Điểm mã Unicode đầu tiên Điểm mã Unicode cuối cùng Bắt đầu byte / Byte 1 Byte thứ tự 2 Byte thứ tự 3 Byte thứ tự 4 1 7 U + 0000 U + 007F 0xxxxxxx 2 11 U + 0080 U + 07FF 110xxxxx 10xxxxxx 3 16 U + 0800 U + FFFF 1110xxxx 10xxxxxx 10xxxxxx 4 21 U + 10000 U + 10FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

Trong phạm vi mã, bạn có thể giả định số byte đang được sử dụng, vì thứ tự từ vựng được quan sát khi đánh số các điểm mã Unicode và số nhị phân UTF-8. Trong phạm vi, U + 0800 và U + FFFF UTF-8 sử dụng 3 byte. 16 bit có sẵn để thể hiện điểm mã của một biểu tượng. Một số nhị phân được tính toán được đặt trong lược đồ UTF-8 từ phải sang trái, điền vào bất kỳ khoảng trống nào ở bên trái bằng các số không.

Top 18 8 ký tự là gì viết bởi Cosy