BERT Avantages et Inconvénients

Sa capacité à capturer les nuances contextuelles dans la langue est exceptionnelle et permet également une compréhension du langage naturel plus précise et sensible au contexte. Son approche bidirectionnelle et son pré-entraînement sur des ensembles de données étendus contribuent à sa polyvalence à travers un spectre de tâches de traitement du langage naturel, en faisant un outil puissant dans le domaine. Avis collecté par et hébergé sur G2.com.

Son intensité computationnelle nécessite des ressources substantielles pour l'entraînement et l'inférence. De plus, il a du mal avec les mots hors vocabulaire et pourrait ne pas gérer les dépendances à long terme aussi efficacement. Malgré ces limitations, la recherche en cours et les avancées visent à aborder et à atténuer ces défis dans les futurs modèles. Avis collecté par et hébergé sur G2.com.

J'utilise BERT depuis 3 mois maintenant, je donne des réponses précises et directes à mes activités quotidiennes, et en tant que chatbot, il donne des informations complètement pertinentes comme un mentor disponible 24/7. Je recommande vivement cela à tout le monde. J'économise beaucoup de temps et d'efforts en utilisant BERT. Avis collecté par et hébergé sur G2.com.

Concernant l'interface, en tant que produit Google, elle devrait avoir un aspect plus élégant. Les informations peuvent être rendues plus humaines, car jusqu'à présent, elles semblent générées par une machine. Avis collecté par et hébergé sur G2.com.

C'est très facile à utiliser et il y a tellement de ressources en ligne autour de cela que n'importe qui peut en avoir une très bonne compréhension même sans aucune connaissance préalable sur les transformateurs. En plus de la facilité d'utilisation, il est également préentraîné et nous avons juste besoin de l'affiner selon notre propre tâche. L'affinement est également assez simple donc oui, l'expérience globale est vraiment agréable. Avis collecté par et hébergé sur G2.com.

Il n'y a que quelques choses comme le fait qu'il soit coûteux en termes de calcul et, comme beaucoup d'autres transformateurs, c'est principalement une boîte noire lorsque nous essayons de comprendre pourquoi il a donné certains résultats.

De plus, puisque nous entrons dans l'ère de l'IA, la limitation de tokens dans BERT rend en fait ses capacités très limitées. Avis collecté par et hébergé sur G2.com.

- Great for tasks where bidirectional context is required, as opposed to GPT models where the context is unidirectional. Suitable for question-answering, analyzing small paragraphs of words, etc.

- Output is more trustworthy as compared to GPT models.

- Open source

- Easy to fine-tune for domain-specific applications as long as enough data is available. Avis collecté par et hébergé sur G2.com.

- It is extremely computationally expensive to build and deploy, especially to produce a quality output.

- Balancing the context window takes a lot of trial and error.

- With the arrival of GPT models, the lack of long context, i.e., limited context, is more noticeable than ever.

- Not suitable for large documents which require broader context.

- (not limited to BERT) A bit of a black box once implemented.

- Not a good choice for tasks where text has to be generated. Avis collecté par et hébergé sur G2.com.

Il est le mieux situé pour les recherches aléatoires que nous effectuons sur un moteur de recherche et devons parcourir plusieurs pages pour construire notre compréhension. Mais avec le nouveau moteur BERT, il est devenu si efficace de rechercher des requêtes et des questions également en termes de recherche d'autres informations textuelles. Avis collecté par et hébergé sur G2.com.

Parfois, les réponses ressemblent à une déclaration générale et nous n'obtenons pas exactement ce que nous cherchons. Avis collecté par et hébergé sur G2.com.

La manière facile de développer le projet basé sur le NLP pour la classification. Le réglage fin du modèle pré-entraîné pour le propre jeu de données pour l'entraînement et le test des modèles. Avis collecté par et hébergé sur G2.com.

C'est bien, mais pendant que nous utilisons le contenu volumineux pour des problèmes de classification, cela consomme beaucoup de puissance de calcul et cela entraînera plus de coûts. Avis collecté par et hébergé sur G2.com.

Un produit open source de Google. Très facile à mettre en œuvre et à utiliser. Il est très flexible à personnaliser pour des tâches spécifiques, ce qui est très utile pour un développeur. Il nous aide dans nos travaux quotidiens avec le NLP. Avis collecté par et hébergé sur G2.com.

Cela prend beaucoup de temps pour entraîner le modèle. Par conséquent, coûteux en termes de calcul et nécessite des machines haut de gamme. Il y a aussi une consommation élevée de mémoire. Avis collecté par et hébergé sur G2.com.

Concernant BERT, c'est le premier modèle que j'ai essayé pour l'intégration basée sur le contexte. La meilleure chose à propos de BERT est qu'il est simple à comprendre et le support à son sujet est disponible. De plus, il existe 3 à 4 modèles anglais généralisés disponibles. Avis collecté par et hébergé sur G2.com.

Par rapport à DistilBERT, il est lourd en taille et encombrant par nature, car la même chose de BERT peut être possible avec DistilBERT. Avis collecté par et hébergé sur G2.com.

* BERT generates high-quality texts by understanding the context around a word. I found good performance on document retrieval, and Question Answering.

* Finetuning BERT on custom data (or transfer learning) is very simple and gives good results. BERT inference is also faster than GPT.

* BERT has an extensive community and good support. Almost everyone around me has used BERT. Avis collecté par et hébergé sur G2.com.

In my experience with BERT, I think it still needs improvements:

* I found that BERT fine-tuning does not work well with large-scale datasets (e.g PILE)

* Its domain knowledge is constricted. It does not know much about domains such as healthcare, and education.

Hence, BERT can be considered enough for simple tasks, however, for complex tasks (e.g. open-ended generation, language translation etc.), it needs improvement.

I trust it's newer version will accommodate for major fixes. Wish them luck, Avis collecté par et hébergé sur G2.com.

Travaillé sur un cas d'utilisation pour détecter la toxicité dans les invites et leurs complétions respectives. BERT a fonctionné efficacement en nous fournissant une très haute précision allant jusqu'à 92 % pour les détections correctes. Avis collecté par et hébergé sur G2.com.

Peut inclure plus de classes à l'exception des 6 : toxique, sévèrement toxique, obscène, menace, insulte et haine identitaire. Quelques classes recommandées utiles : biais de genre, biais ethnique, etc. Avis collecté par et hébergé sur G2.com.