Notas de publicación

Mejoras

• Named entity recognition (NER). Implemented a new functionality for seamless identification of entities such as names, locations and organizations. This functionality ensures that named entities are correctly identified and not flagged as misspellings.
  • Available for English, Spanish, German languages and their dialects.
  • Enabled by default for English, while for Spanish and German, it’s in a disabled state.
  • [On-premise] In the on-premise package, the NER functionality is added as a separate NERModel tag with “Enabled”, “Path”, ”ProbabilityThreshold” settings inside the respective language configuration of the AppServerX.xml file. Using “Enabled” attribute the feature can be enabled or disabled.
  • [On-premise] Adding NER affects minimal hardware requirements. If any of the English, Spanish, German languages is chosen to install, an appropriate NER model will be automatically downloaded. Each NER model requires around ~350 MB.
• Spelling & grammar engine
  • The AI-powered engine is enabled for the following language configurations:
    • American English (en_US) and New Zealand English (en_NZ). The AI-powered configuration is enabled by default for all clients using the cloud service. It can’t be disabled in WProofreader SDK using the “enforceAI:false” parameter.  
    • Mexican Spanish (es_MX). The AI-powered configuration isn’t enabled by default but can be turned on by using the “enforceAI:true” parameter or “enforce_ai=true” for API requests.
    • [On-premise] If Spanish and/or English AI language models are selected to install, the AI-powered engine will be added to the language configuration along with the algorithmic spelling and grammar engines. But this can be updated manually in the AppServerX.xml file. 
  • 3rd party grammar engine. Updated vulnerable versions of Jetty/Netty libraries shipped with LanguageTool package. 

Corrección de errores

• [WP-5163] WProofreader core: Misleading error message when language code is not available
• [WP-5230] WProofreader core/Google Docs: Highlighted error are merged into one and are not divided into parts
• [WP-5152] AI German: Post-processing adds excessive spaces in suggestions with quotes
• [WP-5242] AI English: Post-processing provides broken suggestions for numbers with commas
• [WP-5166] [On-premise] WProofreader SDK demos: Error when working with enforceAI if model isn’t installed
• [WP-5195] [On-premise] Web server is not configured properly after installation
• [WP-5193] [On-premise] Linux installer/Docker: Abort build if language files were not downloaded
• [WP-5245] Spelling autocorrect: 400 error when American English (en_US) language is not enabled
• [WP-5253] Autocomplete parameter is set to “true” if respective model is not installed
• [WP-5258] [On-premise] AppServerX.xml: Incorrect left-to-right (LTR) mode is used for Urdu (ur_PK) language
• [WP-5228] English medical dictionaries: Incorrect word ‘Helicobactor’ is present in dictionaries

Mejoras

• WProofreader core v3.10.5196
  • Added functionality to accept autocomplete suggestions using the “Tab” key, in addition to the “Right arrow” key.
  • Introduced a boolean “cache” option to reduce requests to the backend, disabled by default. Particularly beneficial for Google Docs integration by avoiding repeated checks of already verified text. This cache resets after 24 hours.
  • Published a new NPM package – WProofreader SDK JavaScript. Simplifies integration into JavaScript frameworks like Vue.js, React.js, and Angular. Includes demo samples for integrating WProofreader into popular editors (CKEditor 4, TinyMCE, Quill, Froala).
• Autocomplete suggestions
  • Implemented filters to exclude irrelevant suggestions with inappropriate punctuation or repeated words.
• Spelling & grammar engines
  • The AI-powered engine is enabled for the following language configurations:
    • British English (en_GB), Canadian English (en_CA) and Australian English (en_AU). The AI-powered configuration is enabled by default for all clients using the cloud service. It can’t be disabled in WProofreader SDK using the “enforceAI:false” parameter.  
    • German (de_DE) and Spanish (es_ES). The AI-powered configuration isn’t enabled by default but can be turned on by using the “enforceAI:true” parameter or “enforce_ai=true” for API requests.
    • [On-premise] English, German, Spanish AI language models will be offered to be installed during the installation if corresponding language codes are selected: “en_US”, “en_GB”, “en_CA”, “en_AU”, “es_ES”, “de_DE”. In this case, the AI-powered engine will be added to the language configuration along with the algorithmic spelling and grammar engines. But this can be updated manually in the AppServerX.xml file. 
  • Updated 3rd party engine, LanguageTool, to version 6.2.0. Added and improved grammar rules for the following languages: Catalan, Dutch, English, French, German, Portuguese, Spanish, Ukrainian, Galician, Belarusian, Esperanto, Arabic, and Russian.
  • Actualizadas las fuentes de los diccionarios Hunspell para las siguientes lenguas:
    • Turkish. Source: Hunspell dictionary by Harun Reşit Zafer
    • Croatian. Source: Hunspell dictionary by Denis Lackovic
    • Welsh. Source: Hunspell dictionary by Stefano Ghazzali, Matt Russell
    • Colombian Spanish. Source: Hunspell dictionaries by Titus Wormer
    • Costa Rican Spanish. Source: Hunspell dictionaries by Titus Wormer
    • Dominican Spanish. Source: Hunspell dictionaries by Titus Wormer
    • Peruvian Spanish. Source: Hunspell dictionaries by Titus Wormer
    • Puerto Rican Spanish. Source: Hunspell dictionaries by Titus Wormer
    • Uruguayan Spanish. Source: Hunspell dictionaries by Titus Wormer
  • Allowed rules list for grammar and style guide engines. This feature allows enabling the specific rules and rule categories, complementing the disabled rules list introduced in previous versions. To utilize this, the desired rules should be specified in the “allowedRules.json” file within the /WebSpellChecker/AppServer directory. And further enabled by setting the “UseAllowedRules” tag to “true” for a specific language in the corresponding section of the AppServerX.xml file.
• [On-premise] Updated Windows installer
  • The Windows installer has been updated to mirror the Linux installation approach. This includes adding two steps: selecting desired languages and AI language models for installation. Language IDs, such as “en_US” for American English, need to be specified during installation. Depending on the selected languages, AI language models for enhanced text correction and assistance, available for English, German, and Spanish, are then offered as subsequent steps.
• [On-premise] ARM architecture support (Linux)
  • A separate installation package is now available for applications on servers with ARM architecture running Linux-based OS, expanding compatibility.
  • Docker configurations and build steps have been updated to ensure proper image creation for ARM architecture servers. These updates consider the unique requirements of the environment where the image is built. For more detailed information and step-by-step guidance, refer to the updated README.

Corrección de errores

• [WP-5119] WProofreader core: Disconnecting of dictionary works incorrectly with several editable fields
• [WP-5088] WProofreader core: “Ignore all” doesn’t work properly with several editable fields
• [WP-4216] AI English doesn’t respect spelling ignore options
• [WP-5105] AI engine doesn’t respect medical or legal terms
• [WP-5150] Windows installer: “Activate license” checkbox is checked for re-installation

Mejoras

• Spelling & grammar engine
  • Added an ability to enable the AI-based engine for German (de_DE) and Spanish (es_ES) using “enforceAI:true” in WProofreader configuration or “enforce_ai=true” for API requests. By default, these languages use algorithmic grammar rule-based and spelling dictionary-based engines.
  • Updated vulnerabilities in LanguageTool v6.2 Java libraries: CVE-2023-1428, CVE-2023-32731, CVE-2023-2976, CVE-2023-34462, CVE-2023-32732, CVE-2023-26049, CVE-2023-26048, CVE-2020-8908
• Service security. [Cloud] Enabled support of TLS 1.3 for all service requests.
• WProofreader core v3.9.5107
  • Improved Google Docs integration. Added support for RTL mode and minor bug fixes.

Corrección de errores

• [WP-4965] WProofreader core: Pop-up menu opens in the wrong place after drag- and- drop action in Google Docs
• [WP-5020] WProofreader core: disableOptionsStorage has no effect on options under General section
• [WP-4954] WProofreader core: .wsc-generaloptions__list does not have global ARIA attribute [Accessibility]
• [WP-4990] Spelling: Words “install”, ”installs” are reported as incorrect in English
• [WP-4953] Licensing: Misleading message about license absence when it expired
• [WP-4960] Custom dictionary: Words from the dictionary are marked as misspelled if duplicated in dialect files

Breaking changes [On-premise]

• Application Server (AppServer)
  • AppServerX.xml configuration file: Deprecated “SpellCheck” and “GrammarCheck” parameters and introduced new ones named by engine types respectively in AppServer.X.xml. Each new engine tag contains arguments such as “Enabled”, “Priority” and “Locale”. Spell check type engines contain additional sub-tags for dictionaries and settings. Style guide functionality as well added as a separate tag to “CheckKit” with arguments such as “Enabled”, “Priority” and “Locale”.
  • Deprecated the AI-based language codes: AI-based English (en_AI), German (de_AI) and Spanish (es_AI). These language codes were made up as a temporary solution until the full adoption of the AI engines under the hood. If installed and configured properly, the enhanced text correction with the AI engine can be enabled using the special parameter: “enforceAI:true” in the WProofreader configuration or “enforce_ai=true” for API. Also, there is an option to make changes to the language configuration in the AppServerX.xml configuration file (not recommended).
  • Updated location for the external resources such as language dictionaries for Hunspell spelling engine.
  • Renamed service directory on Linux from “/var/lib/wsc” to: “/var/lib/WebSpellChecker” and on Windows respectively: “C:\ProgramData\WebSpellChecker”.
• Updated Linux installer
  • Added two new steps: select languages and AI language models to be installed. Now IDs of the desired languages need to be specified during the installation (e.g. “en_US” for American English). The AI language models for comprehensive text correction and assistance will be offered as the next steps depending on the selected languages. The AI language models are available for English, German and Spanish.
  • Renamed the installation directory from “/opt/WSC” to “/opt/WebSpellChecker”.
  • Updated “languages_to_install.pl” script mirror changes in the main installer to allow clients install additional languages on top of the ones installed initially, including AI language models.
• Updated Docker configurations
  • Renamed Dockerfiles:
    • “DockerfileCentOS” to “Dockerfile.centos”;
    • “DockerfileRedHat” to “Dockerfile.redhat”.
  • Introduced a new Dockerfile called “Dockerfile.ubuntu-prebuilt” which simplifies deployment and allows customizing the official WProofreader prebuild image from Docker Hub.
  • Updated application installation parameters in Dockerfile:
    • “LANGUAGES_TO_INSTALL” is deprecated.
    • Added new “LANGUAGES” and “AI_MODELS” parameters that specify which languages and AI language models to be installed respectively. The models are offered for English, Spanish and German.
  • Updated the language configuration of the default Docker image.
    • Installed languages: American English, British English, Canadian and Australian English. In the Dockerfile: “LANGUAGES=en_US,en_GB,en_CA,en_AU”.
    • Installed AI language modes: English AI language model, English autocomplete model. In the Dockerfile: “AI_MODELS=1,2”.

Corrección de errores

• [WP-4675] Las palabras coreanas correctas no se reconocen y se subrayan como errores ortográficos.

Mejoras

AppServer

• Actualizado el motor de corrección ortográfica Hunspell a la versión 1.7.2.

Mejoras

• Motor gramatical. Actualizado motor de terceros, LanguageTool, para versión 6.0. 
  • Añadidas y mejoradas las reglas gramaticales de los siguientes idiomas: Alemán, catalán, español, francés, inglés, neerlandés, polaco, portugués, ruso y ucraniano. 
  • Actualizados/excluidos los componentes vulnerables de terceros org.apache.lucene:lucene-core:5.5.5 y org.json:json:20200518.

Corrección de errores

• [WP-4640] API de diccionario de usuario: Mensaje de error incorrecto en 'addword' con caracteres no admitidos
• [WP-4641] API de diccionario personalizado: Las palabras seguidas de un retorno de carro de Windows se ignoran
• [WP-4614] AppServer: El parámetro 'compileCustDict' no funciona*.

* El parámetro 'compileCustDict' que se utilizaba para la compilación de diccionarios personalizados globales está obsoleto. La compilación de archivos ya no es necesaria, sólo archivos de texto plano con el formato apropiado. 

Corrección de errores

• [WP-4636] WPR core: Slovenian (sl_SI) flag is missing on UI after language code change
• [WP-4644] Words from user dictionary ignored during check for short serviceIds

Mejoras

• Motores lingüísticos:
  • Recursos lingüísticos actualizados para el motor de corrección ortográfica Hunspell: inglés británico, francés, indonesio, neerlandés, polaco, ucraniano, español de México, danés, alemán, alemán de Suiza, búlgaro, checo y español de Chile.
  • El código de idioma esloveno ha pasado de sl_SL a sl_SI. Este cambio afectó a la 2ª parte del identificador de la configuración regional con el código del país. Ahora es SI (Eslovenia). El antiguo código de idioma seguirá funcionando para los clientes existentes. Sin embargo, se recomienda realizar cambios en la configuración y migrar al código de idioma correcto.
  • Prioridad a las sugerencias de tipo gramatical si el motor ortográfico da "Sin sugerencias". En los demás casos, prevalecerán las sugerencias ortográficas.
  • [On-premise] Actualizada la estructura de las carpetas/directorios con recursos como archivos de idioma y listas de palabras adicionales.
• Diccionario personalizado a nivel de usuario. Se ha llevado a cabo una refactorización completa de la funcionalidad del diccionario personalizado del usuario, incluido su comando API HTTP "diccionario_usuario". Su comportamiento y mecanismos de validación se adaptan ahora a un diccionario personalizado a nivel de empresa o global. 
  • Validación de entrada para las palabras recién añadidas y el nombre del diccionario. Por ejemplo, las palabras con caracteres especiales, signos de puntuación o espacios ya no pueden añadirse al diccionario. 
  • Se han actualizado los mensajes de error para que sean más precisos y claros. Se han validado los códigos de error de las respuestas de la API.
  • Entrada restringida a una sola palabra para las acciones addword y deleteword con el parámetro word. En próximas versiones, se añadirá el parámetro wordlist para acciones con muchas palabras. 
• Núcleo de WProofreader:
  • Añadida la localización de la interfaz de usuario para el idioma indonesio "id". Se puede activar añadiendo la opción "localization: id" al script de configuración.
  • Actualizada la localización en español "es" para "Sugerencias de Autocompletar" a "Texto predictivo".
• Otros:
  • Demostraciones del SDK de WProofreader. Añadida una nueva demo con la integración de WProofreader en TinyMCE v6.

Corrección de errores

• [WP-4593] Ortografía: La palabra "pay" está marcada como un error ortográfico en AmE
• [WP-4543] Ortografía: Las formas en mayúsculas de las palabras británicas están presentes en el diccionario AmE (por ejemplo, Colour, Fibre, Paediatric, Aesthetic).
• [WP-4495] WProofreader core: el método isUserDictionaryExist no corresponde a su nombre
• [WP-4564] API HTTP del diccionario de usuario: Código de estado incorrecto cuando "palabra" no se borra
• [WP-4603] API HTTP de diccionario de usuario: La acción para eliminar un diccionario inexistente devuelve 200 OK
• [WP-4539] HTTP API: Invalid encoded URI returns BAD URI syntax
• [WP-4396] No se pueden eliminar palabras específicas mediante la función de exclusión.

Mejora

AppServer

• Actualizado el motor de corrección ortográfica Hunspell a la versión 1.7.1.
• Actualizada la librería POCO C++ a la versión 1.11.5.

Corrección de errores

• [WP-4557] HTTP API: Las mismas solicitudes de comprobación con diccionario personalizado habilitado para inglés americano y británico devuelven sugerencias diferentes [Versión del producto en la nube].
• [WP-4566] HTTP API: Сheck request with custom_dictionary parameter returns error related to unsupported language Id [Cloud product version]*

*Esta corrección se aplicará el 27 de diciembre de 2022, una vez actualizado el componente implicado.

Solución urgente del problema con las solicitudes de IA que provocaban aleatoriamente el bloqueo de la aplicación.

Nota Hemos tenido que deshacer los cambios de ICU realizados en la versión 5.26.0 debido a los problemas que provocaban el bloqueo de la aplicación causando errores 5xx. Este cambio se aplica tanto en la versión en la nube como en la versión local del producto.

• Sustituido el mecanismo de tokenización de frases. El antiguo mecanismo personalizado de tokenización de frases se ha sustituido por la herramienta iterador de ruptura de palabras de ICU para mejorar el procesamiento de palabras que contienen puntos (abreviaturas), guiones, apóstrofes, símbolos especiales, acortamientos con un punto, posesiones, etc. Este enfoque se aplica a todos los idiomas que se basan en el motor de corrección ortográfica Hunspell.

Corrección de errores

• [WP-4180] Motor de revisión ortográfica: procesamiento incorrecto de palabras con guiones al final en alemán.

Nota Sólo se ha lanzado la versión local del producto.La versión en la nubeaún está en curso. Tuvimos que revertir la versión en la nube, en concreto los cambios en el componente backend, debido a los problemas que provocaban el bloqueo de la aplicación causando errores 5xx. Sin embargo, todos los cambios introducidos en el núcleo de WProofreader están disponibles también en la versión en la nube.

Mejoras

Actualizado el núcleo de WProofreader v3.8.4782:

• Insignia global v2. Replanteamiento de la concepción y el comportamiento de la insignia global. Esta insignia ya no está vinculada a los campos de texto, sino que es global en la página. Por defecto, está desactivada globalBadge:false pero si se activa se situará en la esquina inferior derecha de la página. Su posición puede regularse mediante las siguientes opciones: badgeOffsetX, badgeOffsetY, badgeZIndex (por defecto, badgeOffsetX = 20, badgeOffsetY = 20, badgeZIndex = 1000).  

Motor gramatical. Actualizado el motor de terceros, LanguageTool, a la versión 5.9.0.

• Añadidas y mejoradas las reglas gramaticales de los siguientes idiomas: Alemán, catalán, español, francés, inglés, neerlandés, polaco, portugués, ruso y ucraniano.
• Componentes de terceros actualizados para corregir vulnerabilidades en bibliotecas .jar: CVE-2022-42003, CVE-2022-42004, CVE-2022-3171, CVE-2022-42889. 

Mecanismo de tokenización de frases sustituido.

El antiguo mecanismo personalizado de tokenización de frases se ha sustituido por la herramienta de iteración de rupturas de palabras ICU para mejorar el procesamiento de palabras que contienen puntos (abreviaturas), guiones, apóstrofes, símbolos especiales, acortamientos con un punto, posesiones, etc. Este enfoque se aplica a todos los idiomas que se basan en el motor de corrección ortográfica Hunspell.

Corrección de errores

• [WP-4447] Núcleo de WProofreader: No markup when user opens Full screen view in Google Gmail [detectado usando extensión del navegador].
• [WP-4477] Núcleo de WProofreader: No hay icono de bandera para el idioma valenciano (cat_ES)
• [WP-4476] Núcleo de WProofreader: El apóstrofo (') no es un símbolo permitido para añadir al diccionario desde la interfaz de usuario.
• [WP-4484] Núcleo de WProofreader: WProofreader no funciona correctamente en IE11 en textareas
• [WP-4180] Motor de revisión ortográfica: procesamiento incorrecto de palabras con guiones al final en alemán.
• [WP-4519] HTTP API: Si se establece en "true", ignore_mixed_case también afecta y permite ignore_all_caps
• [WP-4501] Diccionarios: Algunos términos médicos se reconocen como palabras incorrectas (por ejemplo, AAOMR, ABthrax, ACTHoma, ALternaGEL)
• [WP-4491, WP-4524] Ortografía: Las palabras "filtro", "práctica" e "ingle" se marcan como errores ortográficos en inglés británico.
• [WP-4452] Motor de IA: Las palabras mal escritas entre comillas se reconocen y subrayan como errores gramaticales

Cambios de última hora

[Versión del producto local] Actualizado el archivo de configuración del servidor de aplicaciones (AppServer), AppServer.X.xml:

• Se han actualizado las etiquetas existentes del siguiente modo:
  • Sustituido Enabled etiqueta para SpellCheck a Enabled atributo: <SpellCheck Enabled="true">
  • Añadido booleano Enabled atributo para Model, GrammarCheck, Autocomplete y Autocorrect tags.
• Añadido MaxInputSize que es responsable de establecer el número máximo de tokens de entrada para los modelos de lenguaje AI en AppServer.X.xml. Añade flexibilidad al control del tamaño de entrada del modelo.