Named Entity Recognition

 Named-entity recognition (NER) (juga dikenal sebagai entitas identifikasi, chunking entitas dan entitas ekstraksi) adalah subtugas ekstraksi informasi yang berusaha untuk mencari dan mengelompokkan bernama entitas dalam teks ke dalam kategori yang ditetapkan seperti nama-nama orang, organisasi, lokasi, ekspresi kali, jumlah, nilai-nilai moneter, persentase, dll.

Siapkan Library, yang saya gunakan antara lain:

• NLTK Library
• RE Library
• Matplotlib.pyplot Library
• OS Library

Lalu cari 10 artikel dengan  1 tema lalu simpan isi artikelnya di notepad save semua artikel di dalam satu folder dengan format txt/ text document.

Jika sudah buka python shell/sublime/dll.

Import packages yang dibutuhkan, disini saya menggunakan re, nltk, networkx, matplotlib.pyplot, dan os:

Melakukan preprocesing data  dengan tokenize sebuah dokumen yaitu  pemisahan kata  menggunakan library nltk kemudian dilakukan pos_tagg (pos tagging) untuk melabeli kata dalam kalimat (sentences):

Melakukan Information Extraction. Pada tahap ini data(document) yang sudah di preprocesing akan mengambil kata-kata dengan tag PERSON dan ORGANIZATIONS yang ada pada dokumen. Kata yang sudah diambil nantinya akan menjadi entitas orang atau organisasi:

Melakukan visualisasi dengan menggunakan networkx graph untuk membuat node (simpul/ yang bentuknya lingkaran) , edge (jalur/garis) untuk menghubungkan antar entitas. Untuk nodes saya menggunakan node_size=’1000’ dan node_color = ‘blue’ dan untuk edges saya menggunakan width=2, alpha= 0.3, edge_color= green. Dan untuk labels(tulisan) nya saya menggunakan font_size:12 dan font_family=’ sans-serif’:

Menghilangkan karakter non ASCII, berfungsi untuk menghilangan simbol yang tak dikenali dan kemudian yang ketujuh melakukan ekstrasi dataset pertama membuka file artikel disini saya menggunkan library os kemudian ada pengecekkan file jika file ekstensi artikel tersebut .txt maka data nya akan dibaca lalu dijalankan fungsi _removeNonAscii untuk menghiangkan karakter non ASCII kemudian memproses dua kata yang berhubungan  “name” dan “organization” kemudian melakukan perulangan kemudian yang terakhir memanggil fungsi draw_graph untuk menampilkan grap:

Lalu save dengan format .py dan buka filehasil graph nya:

Sekian terimakasih

Alfian Maulana Fajar

171080200089

Text Preprocessing dengan RStudio

Assalamualaikum Wr. Wb.

disini saya akan menjelaskan contoh text preprocessing dengan menggunakan RStudio.

langkah pertama adalah menginstall packages

kemudian memanggil setiap packages menggunakan perintah library

selanjutnya adalah membaca file dataset yang telah ada sebelumnya menggunakan perintah

langkah berikutnya adalah melakukan proses text preprocessing dengan perintah dibawah ini

Sekian dari saya, mohon maaf jika terdapat banyak kesalahan.

Wassalamualaikum Wr. Wb.

Crawling Data Twitter Menggunakan RStudio

Assalamualaikum. Wr. Wb.

Disini saya akan mencoba melakukan data scrapping menggunakan RStudio. Data yang saya gunakan adalah hashtag #touring di Twitter.

Sebelumnya instal R terlebih dahulu, lalu instal R studio. silahkan kunjungi web R studio.

ok, mari kita lanutkan, dalam membuat web scraping menggunakan Software R studio adapun langkah-langkahnya sebagai berikut:

STEP 1:

Install terlebih dahulu packages yang akan digunakan untuk autentifikasi Twitter

#Install package:
install.packages("twitteR")
install.packages("ROAuth")
install.packages("RCurl")
install.packages("expss")

STEP 2:

Setelah packagesnya terinstall, maka kita akan running packages tersebut

library(twitteR)
library(ROAuth)
library(RCurl)
library(expss)

STEP 3:

Kita mendownload sertifikat dari curl

download.file(url="http://curl.haxx.se/ca/cacert.pem", destfile = "cacert.pem")

STEP 4:

Selanjutnya kita akan request izin Twitter menggunakan token key yang di dapat di laman developer.twitter.com

reqURL <-"https://api.twitter.com/oauth/request_token"
accessURL <-"https://api.twitter.com/oauth/access_token"
CUSTOMER_KEY <- "isi api key anda"
CUSTOMER_SECRET <-"isi key secret anda"
ACCESS_TOKEN <- "isi access token anda"
ACCESS_SECRET <-"isi access secret anda"


STEP 5:

Langkah selanjutnya adalah men-setup authorization Twitter

setup_twitter_oauth(CUSTOMER_KEY, CUSTOMER_SECRET, ACCESS_TOKEN, ACCESS_Secret)
1


STEP 6: 

Pengambilan Data dari Twitter

#Mengambil tweet tentang corona dengan filter language versi bahasa indonesia
search.string <-"#touring"
no.of.tweets <- 50


#Versi bahasa indonesia
touring.tweets <- searchTwitter(search.string, n=no.of.tweets,lang="id",)
df_id <- do.call("rbind", lapply(touring.tweets, as.data.frame))
view(df_id)

Sekian dari saya, mohon maaf jika terdapat banyak kesalahan dan kekurangan
Wassalamualaikum. Wr. Wb. 

Metode FP Growth Menggunakan RStudio

Assalamualaikum Wr. Wb.
disini saya akan membuat postingan tentang cara mengerjakan FP Growth menggunakan RStudio.

Langkah yang pertama adalah kita mengubah data mentah menjadi dataset yang siap diimport ke dalam RStudio

data mentah

dataset yang siap dimasukkan ke dalam RStudio

Kemudian langkah selanjutnya adalah membuka RStudio dan menginstall beberapa packages. package yang diinstall adalah:

install.packages("arules")

install.packages("arulesViz")

install.packages("Matrix")

setelah itu kita run script tersebut

kemudian kita perlu memanggil atau meng-include kan script tersebut dengan mengetikkan

library(arules)

library(arulesViz)

library(Matrix) 

jika sudah maka kita run scriptnya

maka di bagian console akan muncul hasilnya

setelah semua packages diinstall dan dimasukkan, maka yang selanjutnya adalah mengubah dataset kita dari yang sebelumnya numeric menjadi matrix dengan mengetikkan kode dibawah ini

 

qq=as.matrix(sample)

qq=as(qq,"transactions")

setelah itu kita mulai menggunakan metode apriori dengan mengetikkan kode dibawah ini

 rules=apriori(qq,parameter = list(supp=0.2,conf=0.5,minlen=2))

selanjutnya kita sortir hasilnya berdasarkan dengan "lift" dan melihat hasilnya

rules=sort(rules, by="lift")

inspect(rules)

kemudian kita ubah hasil tersebut menjadi sebuah grafik

plot(rules,method="graph",control=list(type="itemsets"))

setelah itu kita berusaha mengurangi redundansi dengan kode berikut

subset.matrix<-is.subset(rules,rules)

subset.matrix[lower.tri(subset.matrix,diag=T)]<-NA

redundant<-colSums(subset.matrix,na.rm=T)>=1

which(redundant)

terakhir adalah mengubah data tersebut menjadi sebuah plot grafik yang menampilkan data

rules.pruned<-rules[!redundant]

inspect(rules)

plot(rules)

sekian dari saya, mohon maaf apabila terdapat banyak kesalahan baik disengaja maupun tidak disengaja.
Wassalamualaikum Wr. Wb.

Metode Naive Bayes Menggunakan RStudio

Assalamualaikum Wr. Wb.

Disini saya akan menjelaskan tentang metode naive bayes menggunakan aplikasi RStudio. Langkah-langkahnya adalah sebagai berikut:

1. Buka Aplikasi RStudio

2. Copy data excel yang telah kita buat

3. Tulis kode seperti dibawah ini

alfian=read.delim("clipboard")

View(alfian)

install.packages("caret")

library(e1071)

library(caret)

sampel=sample(11,9)

training=data.frame(alfian)[sampel,]

testing=data.frame(alfian)[-sampel,]

modelNB=naiveBayes(Diterima~.,data = training)

prediksi=predict(modelNB,testing)

hasil=confusionMatrix(table(prediksi,testing$Diterima))

length(prediksi)

length(testing$Diterima)

*keterangan  

install.packages : untuk menginstall package yang akan digunakan library: untuk memanggil package yang sudah diinstallsample: data yang akan digunakan untuk percobaan

4. Setiap baris kode harus di run satu persatu

berikut dibawah ini adalah video penjelasannya.

Sekian dari saya, mohon maaf jika banyak kekurangan

Wassalamualaikum Wr.Wb.

Rangkuman Praktikum Pemrograman Berbasis Web

RANGKUMAN PRATIKUM WEB 

Pokok Bahasan 1

HTML ( Hypertext Markup Language

A.    Tujuan:

1.      Mengenal dan mengetahui tentang pemrograman berbasis HTML

2.      Memahami dan mengetahui  struktur dan fitur – fitur pada HTML

3.      Mahasiswa mampu menuliskan kode – kode HTML

4.      Memahami tentang pembuatan dan fungsi form

B.     Dasar Teori

HTML adalah, (HyperText Markup Language) sebuah bahasa standar yang digunakan oleh browser Internet untuk membuat halaman dan dokumen pada sebuah Web yang kemudian dapat diakses dan dibaca layaknya sebuah artikel.

Standar minimum elemen HTML adalah:

·         Document Type Declaration (DTD)

·         Head

·         Body

Pokok bahasan 2

           CSS( Cascading Style Sheet)

A.    Tujuan

1.      Mahasiswa mampu membuat style sheet pada dokumen HTML supaya lebih bagus

B.     Dasar Teori

Cascading Style Sheet (CSS) merupakan aturan untuk mengendalikan beberapa komponen dalam sebuah web sehingga akan lebih terstruktur dan seragam. CSS bukan merupakan bahasa pemograman tapi pelengkap untuk mempercantik tampilan.

Sejarah CSS

Nama CSS didapat dari fakta bahwa setiap deklarasi style yang berbeda dapat diletakkan secara berurutan, yang kemudian membentuk hubungan ayah-anak (parent-child) pada setiap style.

Versi

Untuk saat ini terdapat tiga versi CSS, yaitu CSS1, CSS2, dan CSS3.CSS1 dikembangkan berpusat pada pemformatan dokumen HTML, CSS2 dikembangkan untuk memenuhi kebutuhan terhadap format dokumen agar bisa ditampilkan di printer, sedangkan CSS3 adalah versi terbaru dari CSS yang mampu melakukan banyak hal dalam desain website.CSS3 mendukung penentuan posisi konten, downloadable, huruf font, tampilan pada tabel /table layout dan media tipe untuk printer.Kehadiran versi CSS yang ketiga diharapkan lebih baik dari versi pertama dan kedua.

Pokok bahasan 3
         JavaScript

A.      Tujuan:

1.        Memahami tentang struktur javascipt.

2.        Memahami tentang pemograman di javascript.

3.        Memahami tentang pemakaian object dan form.

B.       Dasar Teori

Javascipt adalah bahasa scrip yang ditempel pada kode HTML dan diproses disisi klient.Dengan adanya bahasa ini, kemampuan HTML menjadi semakin luas. Contoh: untuk menvalidasi masukan pada formulir sebelum formulir dikirim ke server.

Javascript bukan bahasa java dan meupakan dua bahasa yang berbeda.Javascrip diinterpretasikan oleh klient, sedang java dikompilasi oleh program dan hasil kompilasinya dijalankan oleh clien.

Javascript sebagai bahasa berorientasikan objek

properti

adalah atribut dari sebuah objek. Contoh: objek mobil mempunyai properti warna mobil. Penulisan:

nama_objek.nama_properti=nilai

window.defaultstatus=”selamat belajar javascript”

metode

adalah sekumpulan kode yang digunakn untuk melakukan sesuatu tindakan terhadap objek. Penulisannya:

nama_objek.nama_method(parameter)

document.write(“hallo”)

Pokok Bahasan 4
             PHP

A.  Tujuan

1.    Mengenalkan kepada mahasiswa tentang pemrograman PHP.

2.    Mahasiswa mampu memahami Instalasi Apache dan PHP.

3.    Memahami tentang struktur control.

4.    Mahasiswa dapat membuat halaman web dengan menggunakan script HTML dan PHP.

B.  Dasar Teori

PHP (preprocessor Hypertext) adalah bahasa scripting yang menyatu dengan HTML dan dijalankan pada server side. Artinya semua sintaks yang diberikan akan sepenuhnya dijalankan pada server sedangkan yang dikirimkan ke browser hanya hasilnya saja berupa HTML. Untuk membedakan perintah HTML dan PHP digunakan tanda <? … ?>atau<?php … ?>

PHP dapat diaplikasikan dengan berbagai macam database, seperti MySQL, PostgreSQL,, Oracle, dan lannya.

Beberapa script dasar PHP

·      Menampilkan text

Echo”..text…<br>”

<br> : ganti baris

·      Variable

-       Untuk membuat variable diberi tanda dollar ($). Variable berfungsi untuk menyimpan suatu nilai dan dapat berubah-ubah. Penulisan variable yang benar adalah :

-       Karakter pertama tidak boleh berupa angka (harus berupa huruf atau garis bawah)

-       Tidak mengandung spasi

-       Pemakaian huruf capital dan huruf kecil dibedakan

Contoh penulisan variable :

$data, $data1, $data_ku

PHP dapat anda Download secara free atau cuma-cuma. Kunjungi saja situs www.php.net, dan download versi terbarunya.

Pokok Bahasan 5
           Konektivitas PHP dengan MYSQL

A.  Tujuan

1.    Memahami langkah-langkah koneksi Php dengan MySQL.

2.  Memahami perbedaan pengambilan record dari database

A.  Dasar Teori

Langka-langkah koneksi PHP-MySQL

1.    Membuka koneksi ke server MySQL

2.    Memilih database yang akan digunakan di server

3.    Mengambil sebuah query dari sebuah database.

4.    Mengambil record dari database

Pokok Bahasan 6
            Desain Web Mobile dengan jQuery Mobile

A.  Tujuan

1.      Mahasiswa memahami tentang jquery mobile

2.      Mahasiswa memahami interkoneksi antar halaman

3.      Mahasiswa memahami pembuatan aplikasijquery

4.      Mahasiswa mampu menampilkan aplikasi yang dibuat di emulator mobile

B.   Dasar Teori

jQuery Mobile adalah framework berbasis jQuery yang memudahkan kita untuk membuat web app untuk mobile. Selain jQuery mobile sebenamya banyak ramework lain yang dapat digunakan seperti Sencha, jTouch, DHTMLX Touch, 10 dan lainnya. Kelebihan jQuery adalah:

1. Berbasis 1Query yang populer.  2. Penggunanya banyak dan forum aktif

jQuery Mobile menyediakan komponen VI widget seperti button, listview, header dan elemen form dan navigasi.Kode ini dibangun olehjQuery dan terns dikembangkan oleh pengembangnya secara aktif untuk memperbaiki bug-bug yang ada diaplikasi ini, Banyak frtur yang ditawarkan dalam framework ini termasuk dukungan HTML5, Ajax-powered navigasi link, dan sentuhan/atau navigasi gesekan. 

WEB UMSIDA - WEB SAINTEK